Figürlü Süsleme

A avaliação do strength foi feita considerando os três conjuntos de operadores. Na sessão anterior era importante que o testador tivesse um conhecimento detalhado sobre a codificação do programa para identificar as diferenças entre o mutante e o programa original e construir casos de teste que evidenciassem essas diferenças. Por isso, a ordem de execução foi realizada horizontalmente, ou seja, cada programa era testado sobre todas as perspectivas (paradigma de programação, conjunto de operadores e conjunto de casos de teste inicial) para que então o testador seguisse para outro programa. Na avaliação do strength este conhecimento específico de cada programa não é exigido, sendo assim esta avaliação foi realizada verticalmente, ou seja, cada perspectiva foi analisada por completo (para todos os programas) para que então fosse avaliada uma outra perspectiva.

Primeiramente foi avaliado o strength do critério AM considerando o conjunto com todos os operadores em relação ao conjunto dos operadores Essenciais de C. Para isso, foi criado o diretório “EscoreEssenciais”. A atividade de geração dos mutantes do programa foi a mesma do teste de mutação considerando todos os operadores. Foi aproveitado portanto o script res- ponsável por gerar os mutantes e marcar os mutantes identificados como equivalentes. Para essa sessão foram considerados apenas o conjunto com os CT efetivos.

Assim, para o programa Árvore Binária o conjunto contendo os 19 casos de teste efetivos considerando os operadores Essenciais foram executados contra os 440 mutantes gerados consi- derando todos os operadores da Proteum. Este conjunto obteve o escore 1,00, ou seja, todos os mutantes não equivalentes foram mortos.

A próxima etapa do experimento foi verificar o quanto o conjunto de casos de teste ade- quado ao critério AM no paradigma OO satisfaz o critério AM no paradigma Procedimental considerando todos os operadores de mutação. Para isso o conjunto de CT efetivos adequado ao critério AM no paradigma OO foi executado contra os mutantes gerados na Proteum. Para esta verificação também foi criado um diretório específico, denominado “TodosCTestesJava”.

Como o programa a ser testado e os casos de teste estavam em diferentes linguagens de programação houve a necessidade de converter os casos de teste de Java para a linguagem C. Esta conversão foi feita cuidadosamente para reduzir o impacto causado pela troca de linguagem e paradigma.

Para o programa Árvore Binária foram aplicados contra os 440 mutantes gerados no pa- radigma Procedimental o conjunto com os 6 casos de teste efetivos para o mesmo critério no paradigma OO, esse conjunto de casos de teste obteve um escore de mutação de 0,834 pois descontando os 30 mutantes equivalentes sobraram ainda 58 mutantes vivos.

A mesma atividade foi realizada considerando apenas os operadores Essenciais do para- digma Procedimental. Esse conjunto com 6 CT quando aplicados contra os 196 mutantes ge- rados no paradigma Procedimental considerando apenas os operadores Essenciais obteve um escore de 0,740, sobrando 47 mutantes vivos. Pode-se observar que o escore de mutação obtido pelo conjunto de casos de teste adequados ao critério AM em Java foi menor quando consi- derado apenas os operadores Essenciais do que quando considerando todos os operadores da Proteum. Isso aconteceu porque apesar do número de mutantes gerados ter reduzido significati- vamente do conjunto Essencial em relação ao conjunto com todos os operadores, a quantidade de mutantes sobreviventes não foi reduzida na mesma proporção.

A próxima etapa do experimento, foi avaliar o escore de mutação obtido pelo conjunto de CT adequado ao paradigma Procedimental nos mutantes gerados no paradigma OO. Inicial- mente foi verificado o escore de mutação obtido pelo conjunto de CT adequado ao critério AM considerando todos os operadores de C contra os mutantes gerados no paradigma OO. Nova- mente houve a necessidade de conversão dos CT, desta vez os CT implementados em C foram convertidos para Java.

No programa Árvore Binária, os 12 mutantes gerados no paradigma OO foram testados contra o conjunto de 19 casos de teste efetivos para o paradigma Procedimental obtendo um escore de 0,909 restando apenas 1 mutante vivo. O mesmo procedimento foi feito considerando apenas os operadores Essenciais no paradigma Procedimental. Desse modo, o conjunto com os 19 CT efetivos adequados ao critério AM procedimental considerando apenas os operadores Essenciais foram executados contra os 12 mutantes do paradigma OO resultando novamente no escore de mutação de 0,909.

Para o programa Árvore Binária, os resultados obtidos pelos casos de teste adequados ao paradigma Procedimental foram melhores do que no paradigma OO. Foi identificado também que o conjunto de operadores Essenciais obteve o mesmo escore obtido pelo conjunto com todos os operadores. Uma das razões desses valores serem tão próximos se deve ao fato de que a maioria dos mutantes que exigiram a construção de novos casos de teste terem sido gerados a partir de operadores contidos no conjunto Essencial (Barbosa, 1998; Barbosa et al., 2001).

4.4

Considerações Finais

Neste capítulo foi detalhado todo o processo de execução do experimento, desde a preparação do ambiente até e a aplicação do critério Análise de Mutantes. A descrição dos passos execu- tados no experimento é importante, pois permite a outros pesquisadores analisarem com mais

64 4.4. Considerações Finais detalhes o estudo e replicarem o experimento com uma maior facilidade. No Capítulo 5 serão apresentados os resultados após a execução dos testes em todos os programas.

5

Análise dos Resultados e Avaliação

da Hipóteses

5.1

Considerações Iniciais

Neste capítulo são apresentados os resultados obtidos após a execução de todos os testes e avaliações em todos os programas. Primeiramente, são mostrados os resultados referentes a cada paradigma, para que então estes dados possam ser comparados em relação ao mesmo programa implementado no outro paradigma de interesse.

Também são descritos os passos realizados para a avaliação das hipóteses do experimento, os métodos estatísticos utilizados e os resultados da avaliação de cada hipótese definida no Capítulo 3. Alguns dos resultados apresentados neste capítulo foram publicados em Campanha et al.(2010) em que foi avaliado o custo e o strength do critério considerando o paradigma OO e o paradigma Procedimental.