Após definidas as questões para cada objetivo de avaliação, deve-se especificar um conjunto de métricas capazes de indicar valores que, quando interpretados, fornecerão as informações necessárias para que o avaliador responda a essas questões. No Quadro 6.7 e no Quadro 6.8 estão as métricas utilizadas para avaliação da efetividade e da eficiência da abordagem ObasCId (Objetivos O1 e O2).
Quadro 6.7. Métricas diretas para avaliação da abordagem proposta.
Sigla Descrição
M1 Quantidade de interesses base ou transversais existentes no software em análise (obtidos por meio de um oráculo). M1.1 Quantidade de interesses base existentes no software em análise (obtidos por meio de um oráculo). M1.2 Quantidade de interesses transversais existentes no software em análise (obtidos por meio de um oráculo). M2 Quantidade de interesses base ou transversais identificados com auxílio da abordagem em análise (inclui os falsos positivos). M2.1 Quantidade de interesses base identificados com auxílio da abordagem em análise (inclui os falsos positivos). M2.2 Quantidade de interesses transversais identificados com auxílio da abordagem em análise (inclui os falsos positivos). M3 Quantidade de interesses base ou transversais corretamente identificados com auxílio da abordagem em análise (não inclui os falsos positivos). M3.1 Quantidade de interesses base corretamente identificados com auxílio da abordagem em análise (não inclui os falsos positivos). M3.2 Quantidade de interesses transversais corretamente identificados com auxílio da abordagem em análise (não inclui os falsos positivos). M4 Tempo gasto (em minutos) para identificação e classificação dos interesses do software com auxílio da abordagem em análise.
Muitas dessas métricas são diretas (Quadro 6.7), ou seja, referem-se à contagem de elementos do produto de software, como quantidade de interesses base e de interesses
transversais. Outras métricas são indiretas, isto é, são obtidas a partir de expressões matemáticas simples envolvendo duas ou mais métricas diretas (Quadro 6.8).
Quadro 6.8. Métricas indiretas para avaliação da abordagem proposta.
Sigla Descrição Fórmula
M5 Cobertura global: porcentagem de interesses base ou transversais identificados corretamente em relação ao total de interesses existentes no software. 100 M1 M2 M6
Cobertura para interesses base: porcentagem de interesses base identificados corretamente em relação ao total de interesses base existentes no software. 100 M1.1 M2.1
M7 Cobertura para interesses transversais: porcentagem de interesses transversais identificados corretamente em relação ao total de interesses transversais existentes no software.
100 M1.2 M2.2
M8 Precisão global: porcentagem de interesses base ou transversais identificados corretamente em relação ao total de interesses base ou transversais identificados com auxílio da abordagem em análise.
100 M2 M3 M9
Precisão para interesses base: porcentagem de interesses base identificados corretamente em relação ao total de interesses base identificados com auxílio da abordagem em análise.
100 M2.1 M3.1 M10
Precisão para interesses transversais: porcentagem de interesses transversais identificados corretamente em relação ao total de interesses transversais identificados com auxílio da abordagem em análise. 100 M2.2 M3.2
As métricas Cobertura (Recall) e Precisão (Precision), descritas no Quadro 6.8, geralmente são utilizadas para medição da efetividade de produtos e processos em diversas áreas de pesquisa, tais como recuperação da informação e processamento de linguagem natural. Além disso, elas são amplamente utilizadas em trabalhos relacionados à identificação e classificação de interesses de software, tanto em nível de código (Kellens et
al., 2007), quanto em nível de requisitos (Herrera et al., 2012; Sampaio et al., 2007).
Na Figura 6.1 sumarizam-se os relacionamentos entre as métricas descritas anteriormente e as questões especificadas para o objetivo de avaliação O1. Como pode ser visto nesta figura, cada questão está relacionada diretamente com as métricas que são efetivamente utilizadas para respondê-la. Algumas métricas, por sua vez, estão relacionadas a outras métricas, pois dependem delas para o cálculo do seu valor.
No Quadro 6.9 é apresentado o conjunto de métricas utilizadas para a avaliação da utilidade e da facilidade de uso percebidas pelos usuários da ferramenta ObasCId-Tool (objetivos O2 e O3). Analogamente ao que foi feito para o objetivo O1, a Figura 6.2 apresenta o relacionamento existente entre os objetivos O2 e O3 e suas respectivas questões e métricas.
Figura 6.1. Relacionamento entre o objetivo O1 e suas respectivas questões e métricas.
Quadro 6.9. Métricas para avaliação da utilidade e facilidade de uso da ferramenta proposta.
Sigla Descrição
M11 Porcentagem de usuários que escolheram a opção “Discordo totalmente”. M12 Porcentagem de usuários que escolheram a opção “Discordo em grande parte”. M13 Porcentagem de usuários que escolheram a opção “Discordo parcialmente”. M14 Porcentagem de usuários que escolheram a opção “Neutro”.
M15 Porcentagem de usuários que escolheram a opção “Concordo parcialmente”. M16 Porcentagem de usuários que escolheram a opção “Concordo em grande parte”. M17 Porcentagem de usuários que escolheram a opção “Concordo totalmente”.
M18 Porcentagem de atividades concluídas com sucesso pelo usuário durante o gerenciamento de recursos para identificação e classificação de interesses na ferramenta ObasCId-Tool.
Figura 6.2. Relacionamento entre os objetivos O2 e O3 e suas respectivas questões e métricas.
Uma etapa importante do nível quantitativo do modelo GQM é especificar a interpretação das métricas de cada questão, pois é por meio dela que o avaliador poderá
estabelecer hipóteses, bem como extrair conclusões dos resultados obtidos após a execução de seu modelo avaliativo. Dessa forma, no Quadro 6.10 é apresentado como se deve interpretar o resultado das principais métricas elencadas para este modelo de avaliação.
Quadro 6.10. Interpretação das métricas do modelo de avaliação proposto.
Métrica Interpretação
M5, M6, M7, M8, M9 e M10
Quanto maior o valor dessas métricas, mais efetiva é a abordagem para identificação e classificação de interesses de software.
M4 Quanto menor o valor dessa métrica, mais eficiente é a abordagem para identificação e classificação de interesses de software.
M18
Quanto maior o valor dessa métrica, mais efetiva é a ferramenta em análise, com relação ao gerenciamento dos recursos necessários para identificação e classificação de interesses de software.
Mais especificamente, caso M18 seja menor ou igual 75%, então a ferramenta não pode ser considerada efetiva para o gerenciamento de recursos para identificação e classificação de interesses. Caso contrário, ou seja, se M18 > 75%, então a ferramenta pode ser considerada efetiva para o gerenciamento de tais recursos. O valor de 75% como threshold foi escolhido de forma ad-hoc por pesquisadores com experiência de uso sobre a ferramenta ObasCId-Tool.
M11, M12, M13, M14, M15, M16 e
M17
Para o construto utilidade percebida, se M11 + M12 + M13 + M14 ≥ M15 + M16 + M17, isto é, se a porcentagem de opiniões negativas/neutra a respeito desse constructo for maior ou igual à porcentagem de opiniões positivas, então a característica representada por esse constructo deve ser revista na ferramenta em análise. Caso M11 + M12 + M13 + M14 < M15 + M16 + M17, então a ferramenta em análise pode ser considerada satisfatória com relação à característica representada pelo constructo. No caso do construto facilidade de uso percebida, vale o que foi exposto acima para o constructo utilidade percebida; além disso, deve-se levar em consideração também a efetividade proporcionada pela ferramenta em análise (métrica M18). Ou seja, a facilidade de uso percebida pelos usuários da ferramenta pode ser considerada satisfatória, caso (M11 + M12 + M13 + M14 < M15 + M16 + M17) e (M18 > 75%). Caso contrário, isto é, se (M11 + M12 + M13 + M14 ≥ M15 + M16 + M17) ou (M18 ≤ 75%), então a facilidade de uso da ferramenta em análise é insatisfatória.