Os dados obtidos a partir da execução deste estudo experimental são analisados e apresentados a seguir, respondendo, então, cada uma das questões de pesquisa levantadas por este trabalho. Estes dados foram coletados a partir das identificações feitas durante a execução deste estudo experimental por cada um dos participantes e também a partir dos questionários respondidos ao final da aplicação deste estudo por cada um destes.
= 9 & = 0 D 0 E
Para avaliar a corretude dos resultados obtidos através do uso da abordagem GT4CCI duas métricas, recall e precisão, foram utilizadas. Estas duas métricas são aqui utilizadas por se mostrarem eficientes quanto a avaliação da corretude de dados e também por serem extensivamente utilizadas em outros trabalho experimentais semelhantes a estes, tais como Herrera , (2012) e Sampaio . (2007).
De acordo com Anacleto (2009), ' pode ser definida como uma métrica utilizada para avaliar a completude dos dados obtidos. Aplicando esta métrica ao contexto deste estudo, podemos, então, afirmar que ' avalia qual a taxa de completude apresentada pela identificação de interesses feita a partir do uso da abordagem GT4CCI, isto é, quanto dos interesses, de fato, existentes em um dado documento de requisitos esta abordagem foi capaz de identificar. Assim, neste caso, esta métrica aponta quanto dos interesses de fato existentes em um dado documento foram negligenciados durante o uso da GT4CCI. A métrica ' é calculada através da seguinte fórmula:
Também de acordo com Anacleto (2009), Precisão pode ser definida como uma métrica utilizada para avaliar a precisão, ou fidelidade, dos dados obtidos. Aplicando, então, esta métrica ao contexto deste estudo, podemos afirmar que a métrica Precisão avalia qual a taxa de fidelidade apresentada pela identificação de interesses feita a partir do uso da abordagem GT4CCI, isto é, quanto dos interesses identificados pela abordagem corresponde, exatamente, aqueles interesses de fato existentes no documento. A métrica Precisão é calculada através da seguinte fórmula:
ã
Na Tabela 7 é possível observar, em detalhes, os resultados obtidos através do cálculo destas métricas para os resultados gerados pelos participantes do Grupo I, que analisou o documento de requisitos + )* , deste estudo experimental. A análise dos resultados obtidos pelos participantes foi feita a partir dos dados presentes na Tabela de Resultados criada por cada um dos participantes durante a execução do estudo experimental.
É possível ver nesta tabela cinco linhas relativas a interesses: a primeira dessas é relativa aos interesses funcionais do documento de requisitos em questão, a segunda aos interesses não/funcionais. A terceira indica os interesses funcionais transversais, enquanto que a quarta é referente aos interesses não/funcionais transversais. Por fim, a quinta linha é relativa aos interesses transversais, apresentando, então, tantos os interesses funcionais quanto os não/funcionais identificados como transversais.
Para avaliar a corretude dos dados obtidos pelos participantes do experimento, um gabarito, contendo os interesses corretos de cada um dos documentos utilizado neste experimento, foi elaborado. Esse gabarito foi elaborado pelo próprio autor do trabalho e revisado por um especialista na área.
É possível ver, também, nesta tabela, quatro colunas. A primeira destas colunas, Interesses GT4CCI, apresenta os interesses identificados, pelos participantes deste estudo experimental. É importante ressaltar que todos os interesses sublinhados nesta coluna indicam que estes se tratam de interesses identificados corretamente pelo Grupo I. Aqueles que não estão sublinhados são os que não foram corretamente identificados. Já a segunda coluna, Interesses Corretos, apresenta todos os interesses, de fato, existentes no documento de requisitos em questão. É
importante aqui salientar que estes interesses corretos foram definidos pela autora do trabalho a partir da análise de cada um dos documentos de requisitos em questão. A terceira coluna desta tabela, Precisão, aponta o valor encontrado a partir do cálculo da métrica Precisão para um dado tipo de interesse naquele documento de requisitos. Por exemplo, na primeira linha relativa a interesses, a linha Interesses Funcionais, é possível perceber que foi encontrada uma Precisão de 100%. Isto significa que 100% dos interesses funcionais identificados pelos participantes através do uso da abordagem GT4CCI correspondem aos interesses funcionais, de fato, existentes no documento analisado.
Tabela 7. Tabela de Precisão e Recall do Grupo I - Methodology Explorer
! 0 6 ( " ; !"
.
! 5 ) ""
,
Criar Componente, Excluir Componente, Alterar Componente,
Visualizar Componente, Copiar Componente, Colar Componente,
Acessar Componente, Compilar, Anexar Documentos, Exportar
Metodologia, Importar Metodologia, Salvar Metodologia,
Gravar Log
Criar Componente, Excluir Componente, Alterar Componente, Visualizar
Componente, Copiar Componente, Colar Componente,
Acessar Componente, Compilar, Anexar Documentos, Exportar
Metodologia, Importar Metodologia, Salvar Metodologia,
Gravar Log
100% 100%
8 7 ,
Usabilidade, Desempenho, Hardware e Software, Persistência,
Segurança Usabilidade, Desempenho, Hardware e Software, Persistência, Segurança 100% 100% $ ,
Criar Componente, Acessar Componente, Anexar Documentos,
Gravar Log
Acessar Componente, Anexar Documentos, Gravar Log
75% 100%
$ 8 7,
Usabilidade, Desempenho, Hardware e Software, Persistência,
Segurança Usabilidade, Desempenho, Hardware e Software, Persistência, Segurança 100% 100% $ =, 8 7 , >
Criar Componente, Acessar Componente, Anexar Documentos,
Gravar Log, Usabilidade, Desempenho, Hardware e Software, Persistência, Segurança
Acessar Componente, Anexar Documentos, Gravar Log, Usabilidade, Desempenho,
Hardware e Software, Persistência, Segurança
89% 100%
Por fim, a quarta e última coluna desta tabela, ' , aponta o valor encontrado a partir do cálculo da métrica ' para um dado tipo de interesse
naquele documento de requisitos. Por exemplo, na última linha, relativa aos Interesses Transversais (Funcionais ou Não/Funcionais), desta tabela é possível observar uma taxa de ' de 100%. Isto significa que 100% dos interesses transversais existentes no documento de requisitos em questão foram identificados a partir do uso da abordagem GT4CCI.
Analisando, então, a Tabela 7, é possível apreender alguns dados relevantes. Primeiramente, é possível observar que a identificação de interesses funcionais no estudo experimental através do uso da abordagem GT4CCI no documento de requisitos + )* resultou numa taxa de Precisão e de ' de 100%. Isto significa que todos os interesses funcionais existentes neste documento foram corretamente identificados pela abordagem GT4CCI e que esta não negligenciou qualquer um destes interesses. O mesmo ocorreu com a identificação de interesses não/funcionais e com a identificação de interesses transversais não/funcionais.
Já na identificação de interesses transversais funcionais é possível encontrar uma taxa de ' de também 100%, entretanto a taxa de Precisão encontrada é de 75%. Isto se deve ao fato de que, durante a realização do estudo experimental, um interesse (Criar Componente) foi identificado como transversal funcional sem, de fato, sê/lo. Como precisão é a razão entre os elementos identificados corretamente (neste caso, 3) e os elementos identificados (neste caso, 4), a taxa de Precisão obteve o valor de 75%.
O mesmo ocorreu no caso da identificação dos interesses transversais (funcionais ou não/funcionais). É possível observar na Tabela 7 que esta identificação também obteve uma taxa de ' de 100%. Já a taxa de Precisão encontrada foi de 89%. Isto é motivado pelo fato de que um interesse (Criar Componente) foi identificado como transversal sem, de fato, sê/lo. Desta maneira, elaborando o cálculo da métrica Precisão, encontrou/se o valor de 89%.
Na Tabela 8 é possível observar, também, os resultados relativos à Precisão e à
' obtidos pelos participantes do Grupo II. Esse grupo analisou o documento de requisitos Agendador de Reuniões. É importante ressaltar que esta tabela está estruturada da mesma forma que a Tabela 7, contendo as mesmas linhas e colunas já detalhadas acima.
A partir da análise detalhada da Tabela 8 é possível observar alguns pontos relevantes acerca da aplicação do estudo experimental neste documento de requisitos. Primeiramente, é possível observar que a identificação de interesses funcionais, a identificação de interesses não/funcionais e a identificação de interesses transversais não/funcionais apresentam uma taxa de Precisão de 100% e uma taxa de
Tabela 8. Tabela de Precisão e Recall do Grupo II - Agendador de Reuniões ! 0 ) + . ! 5 ) "" , Requisição de Reunião, Disponibilidade de Informações,
Cadastro de Exclusão, Cadastro de Preferência, Cadastro de Requisitos Especiais, Cadastro de
Locais, Restrição de Intervalo, Identificação de Conflitos,
Resolução de Conflitos, Disponibilidade de Sala, Reiniciar
Negociação, Suporte Planejamento, Suporte Interações,
Registrar Log
Requisição de Reunião, Disponibilidade de Informações, Cadastro de Exclusão, Cadastro de Preferência, Cadastro de Requisitos
Especiais, Cadastro de Locais, Restrição de Intervalo, Identificação
de Conflitos, Resolução de Conflitos, Disponibilidade de Sala,
Reiniciar Negociação, Suporte Planejamento, Suporte Replanejamento, Suporte Conflitos,
Suporte Interações, Registrar Log
100% 87,5% 8 7 , Concorrência, Independência de Localização, Desempenho, Confidencialidade, Usabilidade, Flexibilidade, Modificabilidade Concorrência, Independência de Localização, Restrições Físicas, Desempenho, Confidencialidade, Usabilidade, Flexibilidade, Modificabilidade 100% 87,5% $ ,
Requisição de Reunião, Registrar Log, Cadastro de Exclusão,
Identificação de Conflitos, Suporte Interações, Suporte
Planejamento, Cadastro de Requisitos Especiais, Resolução de Conflitos, Reiniciar Negociação
Requisição de Reunião, Disponibilidade de Informações,
Registrar Log, Identificação de Conflitos, Suporte Interações, Suporte Planejamento, Suporte
Replanejamento, Resolução de Conflitos, Reiniciar Negociação
78% 78% $ 8 7 , Concorrência, Independência de Localização, Desempenho, Confidencialidade, Usabilidade, Flexibilidade, Modificabilidade Concorrência, Independência de Localização, Restrições Físicas, Desempenho, Confidencialidade, Usabilidade, Flexibilidade, Modificabilidade 100% 87,5% $ =, 8 7 , >
Requisição de Reunião, Registrar Log, Cadastro de Exclusão,
Identificação de Conflitos, Suporte Interações, Suporte
Planejamento, Cadastro de Requisitos Especiais, Resolução
de Conflitos, Reiniciar Negociação, Concorrência, Independência de Localização, Desempenho, Confidencialidade, Usabilidade, Flexibilidade, Modificabilidade Requisição de Reunião, Disponibilidade de Informações,
Registrar Log, Identificação de Conflitos, Suporte Interações, Suporte Planejamento, Suporte Replanejamento, Resolução de Conflitos, Reiniciar Negociação, Concorrência, Independência de Localização, Restrições Físicas, Desempenho, Confidencialidade,
Usabilidade, Flexibilidade, Modificabilidade
Isto significa que todos os interesses existentes destes tipos neste documento foram corretamente identificados através do uso da abordagem GT4CCI. Entretanto, a partir da taxa de Recall de 87,5%, é possível concluir que a abordagem GT4CCI negligenciou alguns dos interesses destes tipos existentes neste documento de requisitos.
Já no caso da identificação de interesses transversais funcionais feitas pelo Grupo II neste estudo experimental, é possível observar que a taxa de Precisão e de Recall foi de 78%. No caso dos interesses transversais (funcionais e não/funcionais) foi encontrada uma taxa de Precisão de 87,5% e uma taxa de ' de 82%.
Tabela 9. Tabela dos Resultados Encontrados em Herrera et al. (2012) e Sampaio et al. (2007)
"( # ) 3 . 5 ) "" ? = 2 > ( @# , A * A 8 7 , * A &A , $ * A ' A ";7 6 , A ' A 8 7 , 2A * A , $ 'A &&A ( @# , &2A 'A 8 7 , * A 22A , $ ' A 2A ";7 6 , &A 'A 8 7 , &2A 2A , $ - A * A 4 ! = 22*> ";7 6 , 2A B A $ =, 8 7 , > 22A &B*A ";7 6 , &2A ' B&A $ =, 8 7, > 22A &2A
Como já dito anteriormente, outros trabalhos relataram estudos experimental envolvendo a corretude dos dados resultantes do uso de abordagens de identificação de interesses transversais em documentos de requisitos, utilizando as métricas ' e Precisão. Os resultados encontrados por dois destes trabalhos, Herrera , (2012) e Sampaio . (2007), são expostos na Tabela 9.
Em Herrera , (2012)são analisados os dados resultantes da utilização das abordagens Theme/Doc e Early/AIM em dois documentos de requisitos distintos, o documento - e o documento ATM - . Como se pode ver na Tabela 9, no estudo experimento apresentado em Herrera , (2012), foram encontradas taxas de Precisão para a abordagem Theme/Doc que variaram entre 48% e 78%. Já as taxas de Recall encontradas para essa abordagem por esse mesmo estudo variam entre 45% e 100%. Nesse mesmo estudo experimental foram encontradas taxas de Precisão para a abordagem Early/AIM que variam entre 31% e 91% e taxas de Recall que variaram entre 40% e 86%.
Sampaio . (2007) relata os resultados obtidos a partir de um estudo experimental envolvendo a abordagem Early/AIM. Nesse trabalho são analisados os dados resultantes da aplicação da abordagem Early/AIM em, também, dois documentos de requisitos distintos, o documento e o documento
0 . Como se pode ver, ainda, na Tabela 9, no estudo experimento relatado em Sampaio , (2007) foram encontradas taxas de Precisão para a abordagem Early/ AIM que variaram entre 20% e 100%. Já as taxas de Recall encontradas para essa abordagem por esse mesmo estudo variam entre 18,2% e 85,7%.
É importante aqui salientar que não se pode comparar, de qualquer maneira, os resultados obtidos por qualquer um destes trabalhos e os resultados obtidos pelo estudo experimental aqui relatado, uma vez que os contextos da aplicação destes estudos são totalmente distintos. No entanto, estes trabalhos são aqui citados com o objetivo, apenas, de apresentar os resultados encontrados por estudos semelhantes a este aqui relatado.
Diante dos resultados obtidos a partir do estudo experimental realizado, é possível concluir que a abordagem GT4CCI provê resultados com uma boa corretude, uma vez que nos dois cenários analisados as taxas de ' e de Precisão nunca se apresentaram abaixo dos 75% para nenhuma das identificações de interesses, sendo eles de quaisquer tipos, tendo, inclusive, em diversas situações taxas de ' e de Precisão de 100%, indicando uma identificação sem qualquer erro ou negligência.
= 9 . = 89 / 0 E
Para fazer a avaliação do desempenho encontrado com o uso da abordagem GT4CCI foram analisadas as respostas fornecidas pelos participantes do estudo experimental para três questionamentos contidos no Questionário II, respondido por cada um destes ao final da execução do estudo:
• Questionamento 1: F 0 E • Questionamento 2: F G 89 0 E • Questionamento 3 F 0 89 0 E
Os participantes responderam cada uma destas perguntas através de métricas no formato nominal com as seguintes opções que indicam os níveis de desempenho alcançados: péssimo, ruim, razoável, bom e excelente. Também foi dada aos participantes a opções de justificar as métricas por eles selecionadas, a fim de adicionar alguma informação que considerassem relevante à avaliação.
Tabela 10. Respostas dos Participantes para os Questionamentos 1, 2 e 3.
1 " ) C $ " ) 59 1 : F 0 E 3 6 - - - 1 : F G 89 0 E 3 6 - - - 1 : F 0 89 0 E 6 3 - - -
Conforme pode/se observar na Tabela 10, analisando/se as respostas obtidas para o Questionamento 1, pode/se observar que 6 participantes consideraram o desempenho geral da abordagem GT4CCI como bom. Já 3 participantes consideraram este desempenho como sendo excelente. Ainda em resposta ao questionário, 2 dos participantes justificaram suas avaliações ressaltando que o desempenho da abordagem pode ser considerado bom, uma vez que ao final de sua aplicação é possível compreender o sistema através da documentação gerada. 4
participantes citaram que a abordagem cumpre bem com seus objetivos, de forma clara e simples. 1 participante afirmou que o desempenho da abordagem pode ser considerado excelente, uma vez que o tempo despendido com sua utilização é bom, os artefatos por ela gerados são excelentes e a simplicidade pro ela oferecida na identificação de interesses transversais é notável.
Ainda de acordo com a Tabela 10, analisando/se as respostas obtidas para o Questionamento 2, é possível observar que 6 participantes consideraram o suporte à identificação de interesses transversais oferecido pela abordagem GT4CCI como sendo bom. Os 3 outros participantes deste estudo experimental classificaram este suporte como excelente. No questionário, 2 participantes citaram que o bom suporte à identificação de interesses transversais oferecido pela abordagem GT4CCI é decorrente da excelente visualização deste interesses, fornecida pela abordagem. 2 participantes citaram que este suporte é excelente uma vez que a identificação de interesses transversais realizada a partir do uso desta abordagem é relativamente simples. 3 participantes citaram, também, que a abordagem oferece um bom suporte à identificação de interesses transversais uma vez que possui heurísticas bem definidas, o que facilita o processo. Por fim, 1 participante salientou o fato de que através do uso da abordagem foi possível identificar interesses que, normalmente, seriam considerados transversais mas que, através do suporte e das heurísticas oferecidas pela abordagem, não poderiam ser considerados transversais em um caso específico.
Por fim, observando as respostas dadas ao Questionamento 3, apresentadas na Tabela 10, é possível constatar que dos 9 participantes deste estudo experimental, 6 afirmaram que o aumento no grau de confiabilidade na identificação de interesses transversais através do uso da GT4CCI é excelente. Os outros 3 participantes afirmaram que este aumento pode ser considerado bom. Ainda nesse questionário, os participantes adicionaram algumas informações relevantes acerca deste questionamento. 6 destes participantes afirmaram que a análise individualizada dos interesses, característica da abordagem GT4CCI, e o estabelecimento de relações entre os interesses torna a identificação muito mais confiável. 2 outros participantes citaram, mais uma vez, que a abordagem oferece uma boa visualização dos interesses e das relações que estes estabelecem uns com os outros, tornando assim a sua identificação mais confiável.
Diante das avaliações feitas pelos participantes deste estudo experimental a respeito dos três questionamentos que envolviam pontos relativos ao desempenho da abordagem GT4CCI é possível concluir que esta oferece uma boa visualização dos interesses e de sua relações, oferece heurísticas claras e cumpre seus objetivos,
oferecendo resultados claros e confiáveis. Desta forma, pode/se afirmar que a abordagem apresenta, de acordo com os participantes, um bom desempenho.
= 9 1 = H 0
E
Objetivando proceder com a averiguação do grau de dificuldade encontrado no aprendizado e no uso da abordagem GT4CCI, três questionamentos relativos a este tema foram respondidos pelos participantes deste estudo experimental, através do Questionário II: • Questionamento 4: F H 0 E • Questionamento 5: F 7 0 E • Questionamento 6 = 0 E
Estes questionamentos foram respondidos utilizando métricas no formato nominal com as seguintes opções que indicam os níveis dificuldades encontrados: muito difícil, difícil, razoável, fácil e muito fácil. Também foi dada aos participantes a opções de justificar suas respostas, a fim de adicionar alguma informação que considerassem relevante à avaliação.
Tabela 11. Respostas dos Participantes para os Questionamentos 4 e 5.
1 6 , " , " ) C $ " # .D " 6 # .D " 1 : F H 0 E 4 5 - - - 1 &: F 7 0 E 3 5 1 - -
Na Tabela 11, analisando às respostas relativas ao Questionamento 4, é possível perceber que 5 dos participantes deste estudo experimental consideraram o aprendizado da abordagem GT4CCI como fácil, enquanto que os 4 outros participantes consideraram o aprendizado desta abordagem como sendo muito fácil. Diante da possibilidade de acrescer alguns comentários, 4 dos participantes citaram que a abordagem GT4CCI possui etapas simples e bem denifidas e, por esta razão, é fácil compreendê/la. 3 participantes também mencionaram o fato de que esta
abordagem utiliza conceitos simples e de fácil compreensão e utilização, o que facilita muito o aprendizado da mesma.
Observando as respostas dadas ao Questionamento 5, apresentadas na Tabela 11, pode/se constatar que 5 participantes consideraram o grau de dificuldade encontrado a partir do uso da abordagem como fácil. Outros 3 participantes consideraram o grau de dificuldade apresentado pela abordagem como sendo muito fácil e, por fim, apenas 1 participante considerou que a dificuldade apresentada pela abordagem é razoável. Ainda durante o preenchimento deste questionário, 7 participantes justificaram suas avaliações ressaltando que a abordagem é clara e de fácil aprendizado e utilização, com etapas consideradas simples e intuitivas. O partipante que avaliou a dificuldade impressa pela abordagem como razoável argumentou que jamais havia feito a identificação de interesses transversais e, por esta razão, apresentou certa dificuldade.
Por fim, o último questionamento acerca da dificuldade encontrada no uso da abordagem GT4CCI foi relativo à cada uma das etapas desta abordagem. No Questionário II, então, os participantes responderam ao Questionamento 6: =
0 E É importante
ressaltar que no próprio questionário havia um campo para cada uma das etapas, para que o grau de dificuldade encontrado em cada uma destas fosse informado de forma separada pelo participante. A compilação de todas estas respostas, dividas por etapas, pode ser observada na Figura 16.
Como neste questionamento cada uma das etapas foi avaliada de maneira individualizada pelos participantes, os resultados referentes à cada uma delas será, também, exposto aqui de maneira individualizada, a fim de permitir uma melhor visualização sobre os dados obtidos. Desta forma, alguns pontos relevantes puderam ser observados durante a análise dos dados referentes às dificuldade originarias da aplicação das seguintes etapas da abordagem GT4CCI:
• 89 0 3 participantes do experimento consideraram a etapa de Codificação Aberta como sendo muito fácil. 3 outros participantes consideraram esta etapa como fácil. Os outros 3 participantes avaliaram esta etapa como tendo um grau de dificuldade razoável. É válido aqui ressaltar que todos os participantes que avaliaram esta etapa como razoável integraram o Grupo II neste estudo experimental. Estes participantes alegaram que esta etapa é considerada de nível de dificuldade razoável pois a identificação de interesses é trabalhosa e a identificação deste interesses nem sempre é obvia. Já os participantes do Grupo I avaliaram esta etapa como muito fácil ou fácil, citando que não encontraram qualquer dificuldade na identificação e codificação dos interesses do sistema. Podemos perceber esta diferença na avaliação dos participantes devido à diferença na estruturação e na escrita dos documentos analisados. O Grupo I analisou o documento de requisitos
+ )* , que tem os requisitos definidos segundo uma estrutura clara. Desta maneira, tornou/se fácil identificar os interesses daquele sistema. Já o Grupo II, que analisou o documento Agendador de Reuniões, sentiu maior dificuldade pois este documento não possui qualquer estruturação de seus requisitos, que são descritos como um texto corrido e sem qualquer estruturação clara. Desta maneira, podemos concluir que a dificuldade encontrada na codificação aberta está diretamente relacionada à estruturação do documento. É importante ressaltar ainda que 4 dos participantes citaram que esta etapa torna/se mais simples devido ao bom suporte ferramental oferecido pela ferramenta Atlas.ti;
• 89 * Dos 9 participantes deste estudo experimental, 4 avaliaram a dificuldade encontrada na aplicação da etapa de Codificação Axial como