ADİL YARGILAMA ÇALIŞMA GURUBU 2017 ÇALIŞMA RAPORUNA EK RAPOR

5.2.5

An´alise dos Dados - ConjuntoSetAll

Nesta subsec¸˜ao s˜ao analisados os resultados obtidos com a aplicac¸˜ao do Procedimento Es- sencial no conjunto SetAll. Para isso, comparou-se o custo do conjunto CE-All obtido pelo procedimento com o custo do conjunto completo de operadores. Inicialmente, a Tabela 5.9 sumariza o custo de cada operador do conjunto essencial CE-All. A tabela exibe, respectiva- mente, o nome do operador, o total de mutantes gerados, o n´umero de mutantes compil´aveis, a quantidade de mutantes classificados automaticamente pela Proteum/AJ como equivalentes e a quantidade de mutantes significativos (isto ´e, mutantes mortos pelos casos de testes, ou classificados manualmente como equivalentes).

Tabela 5.9: Custo de cada operador essencial do conjuntoSet-All

Operador Custo Mut.Compil Mut.Equiv. Total Mut.

POAC 85 67 1 66

PCCE 97 95 0 95

PWIW 791 761 698 63

Total 973 923 699 224

Similarmente `a an´alise feita para os conjuntos Set1 e Set2, `a primeira vista foi poss´ıvel obter uma reduc¸˜ao de 36, 9%, considerando os 1543 mutantes gerados pelo conjunto completo de operadores e os 973 mutantes do conjunto essencial.

Desconsiderou-se ent˜ao os mutantes anˆomalos e os mutantes que foram classificados au- tomaticamente como equivalentes pela Proteum/AJ. Dos 1543 mutantes gerados, 779 mutantes foram classificados como equivalentes e 169 como anˆomalos, restando apenas 595 mutantes significativos. Comparando esse n´umero com o valor de 224 (n´umero de mutantes significa- tivos gerados pelos operadores do conjunto CE-All) obteve-se uma reduc¸˜ao de 62% no custo. Comparando esse resultado com os resultados obtidos para os conjuntos Set1 e Set2, observa- se um aumento na reduc¸˜ao de custo quando um conjunto maior de aplicac¸˜oes foi analisado. Mais detalhes sobre as diferenc¸as de resultados nos trˆes estudos realizados s˜ao apresentados na pr´oxima sec¸˜ao.

5.3

Comparac¸˜ao com os Conjuntos

Set1 e Set2

Nesta sec¸˜ao ´e realizada uma an´alise comparativa entre os conjuntos de operadores obtidos com a aplicac¸˜ao do Procedimento Essencial nos conjuntos Set1, Set2 e SetAll. Na figura 5.1 ´e poss´ıvel perceber que o conjunto SetAll ´e composto basicamente por operadores formados pela intersec¸˜ao dos conjuntos Set1 e Set2, com excec¸˜ao do operador ABPR, que ´e comum apenas aos conjuntos Set1 e Set2.

5.3 Comparac¸˜ao com os Conjuntos Set1 e Set2 101

Pelo fato de os conjuntos Set1 e Set2 serem compostos por programas diferentes, os ope- radores POPL e ABHA tem relevˆancias diferentes em cada um dos conjuntos. Dessa forma, quando ´e feita a uni˜ao dos programas no conjunto SetAll e aplicado o Procedimento Essencial, ambos os operadores n˜ao aparecem no conjunto essencial CE-All. Em contrapartida, apesar de o operador ABPR fazer parte de ambos os conjuntos, ele n˜ao est´a presente no conjunto CE-All pois, como mostrado na subsec¸˜ao 5.2.4, foi exclu´ıdo antes mesmo da execuc¸˜ao do procedimento por possuir escore de mutac¸˜ao abaixo do limiar m´ınimo determinado no passo 1.

Set1

SetAll

Set2

Figura 5.1: Diagrama comparativo dos operadores essenciais identificados para os conjuntos

Set1,Set2 e SetAll de aplicac¸˜oes

Observou-se ainda que para os conjuntos Set1 e Set2 foram obtidos conjuntos essenciais compostos por cinco operadores cada. Para o conjunto SetAll, por outro lado, obteve-se um conjunto essencial um pouco mais reduzido, com apenas trˆes operadores, ou seja, 85% menos operadores que o conjunto completo (20 operadores conseguiram ser aplicados ao conjunto de programas SetAll).

No conjunto SetAll percebeu-se que o Procedimento Essencial, diferentemente do compor- tamento mostrado nos conjuntos Set1 e Set2, mostrou uma tendˆencia a apresentar um conjunto de operadores essenciais mais reduzido. Ressalta-se que esse comportamento foi observado du- rante o desenvolvimento deste estudo, sendo ent˜ao necess´aria a realizac¸˜ao de outros experimen- tos com as mesmas caracter´ısticas e sistem´atica deste experimento, para obter uma conclus˜ao

5.3 Comparac¸˜ao com os Conjuntos Set1 e Set2 102

mais precisa acerca dessa relac¸˜ao entre o conjunto essencial e o tamanho do conjunto de pro- gramas.

Al´em dessa an´alise, foi realizada uma outra, mais detalhada, dos operadores obtidos com o procedimento nos 3 conjuntos de programas. A partir dos dados obtidos e descritos nos estudos envolvendo os conjuntos Set1, Set2 e SetAll, ´e apresentada na Tabela 5.10 uma aplicac¸˜ao dos conjuntos de testes adequados com respeito aos operadores essenciais no conjunto completo de mutantes gerados. Essa aplicac¸˜ao ´e feita de forma gradual, obedecendo a ordem de custos dos operadores, com o intuito de observar a evoluc¸˜ao do escore de mutac¸˜ao `a medida que os operadores essenciais s˜ao inseridos ao conjunto.

Tomando como exemplo o conjunto essencial de Set1, os testes para o operador POAC ser˜ao os primeiros a serem aplicados no conjunto completo de mutantes, pois o operador POAC ´e o mais barato dentre os essenciais identificados para o conjunto Set1 (50 mutantes). Quando os testes adequados aos mutantes de POAC s˜ao aplicados ao conjunto completo de mutantes, observa-se que escore de mutac¸˜ao j´a atinge o valor de 0, 811. Logo ap´os, ao acrescentar o operador POPL (54 mutantes) ao conjunto, obtˆem-se um pequeno incremento no escore de mutac¸˜ao, obtendo-se o escore de 0, 860. Esse processo vai ocorrendo at´e que sejam inseridos todos os operadores do conjunto essencial. Ao final das inserc¸˜oes, obtˆem-se o escore de mutac¸˜ao do conjunto essencial de 0, 940.

Tabela 5.10: Tabela com a inserc¸˜ao gradual dos operadores dos Conjuntos Essenciais

Combinações Set1 Total Execuções Mortos Equival. Escore de Mutação

’POAC’ → OP 13639 9917 1410 0.811

’POAC’, ’POPL’ → OP 13639 10456 1483 0.860

’POAC’, ’POPL’, ’PCCE’ → OP 13639 10456 1483 0.860

’POAC’, ’POPL’, ’PCCE’,’ABPR’ → OP 13639 10932 1679 0.914

’POAC’, ’POPL’, ’PCCE’,’ABPR’,’PWIW’ → OP 13639 11172 1754 0.940

Combinações Set2 Total Execuções Mortos Equival. Escore de Mutação

’ABHA’ → OP 7137 5576 1164 0.934

’ABHA’, ’ABPR’ → OP 7137 5576 1164 0.934

’ABHA’, ’ABPR’, ’POAC’ → OP 7137 5576 1164 0.934

’ABHA’, ’ABPR’, ’POAC’, ’PCCE’ → OP 7137 5576 1164 0.934

’ABHA’, ’ABPR’, ’POAC’, ’PCCE’,’PWIW’ → OP 7137 5576 1164 0.934

Combinações SetAll Total Execuções Mortos Equival. Escore de Mutação

’POAC’ → OP 20779 15419 2563 0.846

’POAC’, ’PCCE’ → OP 20779 15819 2593 0.870

’POAC’, ’PCCE’, ’PWIW’ → OP 20779 16471 2918 0.922

Na Tabela 5.10 foi poss´ıvel observar a aplicac¸˜ao gradual dos operadores do conjunto es- sencial e o incremento no escore de mutac¸˜ao que cada operador proporciona. Com o intuito de observar o comportamento dos operadores do trˆes conjuntos – Set1, Set2 e SetAll – durante