ROMAN

Esta Seção apresenta a análise sobre os dados extraídos durante a execução da etapa de elicitação do estudo de caso, visando responder a primeira questão de pesquisa contendo a seguinte pergunta: “O processo de elicitação e sua ferramenta de

apoio causam algum impacto à atividade de elicitação de requisitos de Acessibilidade Web?”.

Para responder a QP1, foram considerados três fatores, sendo estes: I a corretude dos dados obtidos na elicitação dos requisitos de Acessibilidade Web, II O

tempo total despendido para execução da elicitação, e III A análise sobre a documentação gerada. Além disso, a avaliação dos participantes em relação a utilização dos recursos disponibilizados por esta dissertação (Seção 6.2.1), também foi considerada. A seguir são apresentadas as análises dos dados extraídos para responder a QP1.

6.4.1.1 Corretude dos dados, tempo despendido e análise da documentação gerada

Para verificar a corretude dos dados obtidos na elicitação dos requisitos de Acessibilidade Web, foi efetuado um balanço para comparar o número de requisitos e respectivas operacionalizações extraídas do catálogo de RNFs pelos participantes em relação a quantidade existente no catálogo, levando em consideração as limitações do público alvo e tipos de conteúdo dos requisitos funcionais, passados como parâmetros da elicitação. Assim sendo, a análise da corretude se baseia na verificação da eficiência dos elicitadores na extração da quantidade esperada de requisitos.

As limitações definidas para o público alvo dos projetos foram as limitações visuais e auditivas. Já os tipos de conteúdo definidos para os requisitos funcionais foram Texto, Imagem e Áudio. O catálogo de requisitos de Acessibilidade Web, fornecido aos participantes, contém 63 requisitos vinculados ao tipo de limitação Visual, incluindo as limitações específicas de Daltonismo, Baixa Visão e Sem Visão. E Vinculado ao tipo de limitação auditiva existem 31 requisitos.

Dessa forma, ao todo o catálogo possui 94 requisitos vinculados às duas limitações em questão. Porém nem todos esses requisitos possuem operacionalizações vinculadas aos tipos de conteúdos definidos para os RFs dos dois projetos. Assim sendo, de acordo com a configuração da elicitação, definida na segunda atividade do processo (Seção 4.1.2), era esperado que os participantes extraíssem do catálogo 44 requisitos de acessibilidade com suas respectivas operacionalizações.

A tabela 20 mostra os dados obtidos da elicitação para o projeto do aplicativo para criação de galeria de fotos interativa.

Tabela 20 - Requisitos de Acessibilidade extraídos – Projeto 1

Configuração Grupo Requisitos

encontrados (%) Operacionalizações encontradas (%) Situação 1: Ferramenta + processo + catálogo Grupo 1 100% 100% Grupo 2 100% 100%

Situação 2: Processo + Catálogo Grupo 3 90,90% 86,75 % Situação 3: Catálogo Grupo 4 81,81% 70,19%

Verificando a quantidade de requisitos que cada um dos grupos extraiu, apresentada na tabela 20, ficou constatado que os grupos 1 e 2, que utilizaram o método junto a ferramenta Omnes Web, conseguiram abranger todos os requisitos e suas respectivas operacionalizações disponíveis no catálogo de RNFs. Enquanto que o grupo 3 conseguiu abranger 90,90% do total de requisitos de acessibilidade disponíveis no catálogo, e em relação as operacionalizações, o grupo 3 conseguiu Abranger 86,75 % do total.

Ainda em relação aos dados da tabela 20, o grupo 4 que realizou a elicitação utilizando apenas o catálogo de RNFs e de maneira ad-hoc conseguiu abranger 81,81% dos requisitos de acessibilidade Web, em relação as operacionalizações a abrangência foi de 70,19%. Esses dados mostram que apenas os grupos 1 e 2 obtiveram sucesso para relacionar corretamente a quantidade de requisitos e respectivas operacionalizações disponíveis no catálogo. Ou seja, esses dois grupos conseguiram extrair todos os requisitos disponíveis para pessoas com limitações auditivas e visuais, e todas as operacionalizações associadas aos tipos de conteúdo de Texto, Imagem e Áudio. Esses resultados podem indicar que as elicitações dos grupos 1 e 2 são menos suscetíveis a omissão de requisitos, em relação as elicitações dos outros grupos, uma vez que suas extrações conseguiram abranger corretamente a quantidade existente de elementos no catálogo, de acordo com os parâmetros de elicitação utilizados.

A elicitação dos requisitos de Acessibilidade Web também foi realizada para o projeto do aplicativo para a gestão de Metas. Os participantes responsáveis por essa elicitação pertenceram aos grupos 1 e 2. A tabela 21 mostra o resultado da elicitação para o segundo projeto.

Tabela 21 - Requisitos de Acessibilidade extraídos – Projeto 2

Configuração Grupo Requisitos

encontrados (%) Operacionalizações encontradas (%) Situação 1: Ferramenta + processo + catálogo Grupo 1 100% 100% Grupo 2 100% 100%

Os grupos 1 e 2 repetiram no segundo projeto os mesmos resultados alcançados no primeiro projeto, abrangendo todos os requisitos e respectivas operacionalizações disponíveis no catálogo de Acessibilidade Web.

Após a extração das informações contidas no catálogo de RNFs, os participantes efetuaram a análise para filtrar os requisitos de acessibilidade que realmente se aplicavam aos requisitos funcionais da aplicação ( veja seção 4.1.1). A tabela 22 mostra o numero de requisitos de acessibilidade selecionados, após a análise, para o projeto 1.

Tabela 22 - Requisitos de Acessibilidade selecionados – Projeto 1

Configuração Grupo Total de requisitos de

acessibilidade extraídos Total de requisitos de acessibilidade selecionados Situação 1: Ferramenta + processo + catálogo Grupo 1 44 26 Grupo 2 44 23 Situação 2: Processo + Catálogo Grupo 3 40 25

Situação 3: Catálogo Grupo 4 36 36

Conforme os dados apresentados na tabela 22, é possível ver que o grupo 1 selecionou 26 requisitos dos 44 extraídos do catálogo. Já o grupo 2 selecionou 26, e o grupo 3 selecionou 25. Ainda em relação aos dados da tabela 22, é possível perceber que o número de requisitos selecionados pelos participantes do grupo 4 foi bem superior em relação aos outros grupos. Esse fato está relacionado com a imprecisão na análise efetuada, hipótese essa confirmada durante a análise dos artefatos gerados, onde foi constatado que o grupo 4 selecionou requisitos de acessibilidade que não se relaciona com as limitações do público alvo do projeto I.

A tabela 23 apresenta os requisitos selecionados para o projeto do aplicativo para gestão de metas.

Tabela 23 - Requisitos de Acessibilidade selecionados – Projeto 2

Configuração Grupo Total de requisitos de

acessibilidade selecionados Total de requisitos de acessibilidade selecionados Situação 1: Ferramenta + processo + catálogo Grupo 1 44 27 Grupo 2 44 25

Como apresentado na tabela 23, os participantes do grupo 1 definiu que dos 44 requisitos extraídos, apenas 27 deveriam ser selecionados. Já os participantes do grupo 2 selecionaram 25 requisitos. Essa análise para filtrar os requisitos que realmente fazem parte do contexto das funcionalidades, presentes nos projetos, se torna um importante procedimento, a fim de evitar que requisitos desnecessários sejam especificados e repassados aos prototipadores.

A tabela 24 apresenta o tempo que cada grupo levou para a execução da etapa de elicitação.

Tabela 24 - Tempo gasto por cada grupo na execução da etapa de elicitação

Grupo Data Duração Tempo despendido

Projeto 1 Projeto 2 Total

Grupo 1 22/01/14 10:22-12:40 1 h e 15 min 1 h e 03 min 2 h e 18 min Grupo 2 27/01/14 13:55-15:42 1 h e 01 min 0 h e 46 min 1 h e 47 min Grupo 3 22/01/14 10:22-14:24 4 h e 2 min Não executou 4 h e 2 min Grupo 4 27/01/14 13:55-17:56 4 H e 1 min Não executou 4 h e 1 min

Os dados mostrados na tabela 24 indicam que a utilização da ferramenta Omnes Web, por parte dos grupos 1 e 2, reduziu o tempo gasto em média pela metade em relação ao tempo gasto pelos grupos 3 e 4. Deve ser levado em consideração que os grupos 1 e 2 efetuaram a elicitação dos requisitos de Acessibilidade Web para dois projetos, enquanto que os grupos 3 e 4 realizaram o mesmo procedimento para apenas um projeto. Ainda em relação aos grupos 1 e 2, de acordo com os dados da tabela 24, é possível perceber que o tempo gasto para a execução da elicitação do segundo projeto foi em media inferior a 13,5 minutos, em relação ao tempo gasto para a elicitação do primeiro projeto. Ao serem questionados sobre essa diferença do tempo gasto, os grupos justificaram que o aumento da familiaridade com a ferramenta Omnes Web contribuiu para tornar mais rápido a elicitação para o segundo projeto.

Em relação a documentação gerada pelos participantes, analisamos se os quatro grupos conseguiram gerar com sucesso os três artefatos de saída requeridos (Seção 6.2.1.1). A tabela 25 mostra a quantidade de artefatos gerados com sucesso por cada um dos 4 grupos da etapa de elicitação.

Tabela 25 - Artefatos gerados pelos grupos da etapa de elicitação

Grupo Artefatos gerados

Catálogo de RNFs Catálogo de Correlações Checklist

Grupo 1 X X X

Grupo 2 X X X

Grupo 3 X X X

Grupo 4 X

Conforme os dados apresentados na tabela 25, é possível ver que o grupo 4 foi o único que não conseguiu gerar todos os artefatos esperados, conseguindo disponibilizar apenas a versão final do catálogo de requisitos de Acessibilidade Web. Além de informarem motivos de indisponibilidade em relação ao tempo que ainda seria necessário para gerar os artefatos faltantes, os participantes do grupo 4 alegaram cansaço, e julgaram que o artefato gerado já seria suficiente para o desenvolvedor implementar os requisitos de Acessibilidade. Apesar da argumentação, por parte do supervisor desse estudo de caso (autor desta pesquisa de dissertação), de que uma visão alternativa dos requisitos elicitados era importante, e que ajudaria na implementação, os participantes assumiram que de fato disponibilizar somente um artefato prejudicaria a tarefa de implementação, porém devido a indisponibilidade de tempo, o grupo decidiu que somente o artefato já produzido seria fornecido.

Como apresentado na tabela 24, o tempo gasto pelos grupos 3 (4 horas e 2 minutos) e 4 (4 horas e 1 minuto) foi praticamente o mesmo, com diferença de apenas um minuto. Ambos efetuaram a elicitação de maneira totalmente manual, porém somente o grupo 3 apresentou sucesso na geração de todos os artefatos. Esse fato é uma indicação de que o processo de elicitação, proposto por esta dissertação, auxiliou aos elicitadores do grupo 3, servindo como guia para garantir uma execução organizada de cada procedimento da elicitação. Comparando os resultados do grupo 3 e 4 é possível perceber que o processo induziu a uma melhor execução das

atividades, ao ponto de promover a otimização do tempo gasto, permitindo assim que no período de 4 horas os resultados esperados fossem gerados. Fato este que não se repetiu com o grupo 4 que executou a elicitação no mesmo período de tempo.

Em relação a qualidade dos artefatos gerados, foi constatado que a documentação fornecida pelos grupos 1, 2 e 3 apresentaram consistências entre si, em relação as informações disponibilizadas em cada artefato, ou seja, os requisitos contidos no checklist representaram fielmente os requisitos contidos na versão final do SIG do produto.

Apesar do grupo 3 ter efetuado o processo de elicitação de maneira manual, os artefatos produzidos, além de consistentes entre si, também apresentaram estrutura suficientemente organizada para a compreensão dos dados contidos. Os impactos detectados também foram corretamente refletidos no catálogo de correlações desse grupo.

A análise sobre o SIG gerado pelo grupo 4 revelou que alguns requisitos elicitados não estão relacionados com as limitações presentes no público alvo (visuais e auditivas). Um exemplo desse fato foi a elicitação de dois requisitos para pessoas com problemas de convulsões, sendo estes: “Tratamento de conteúdo para que não cause convulsão” e “Quantidade limitada de Flashes no conteúdo”. Essa situação pode complicar ainda mais a implementação dos requisitos Acessibilidade Web, uma vez que o desenvolvedor que receber este artefato terá dificuldades para decidir quais requisitos de fato precisam ser prototipados ou implementados.

6.4.1.2 Avaliação dos participantes sobre as estratégias de elicitação utilizadas

Para determinar como os participantes avaliaram cada estratégia de elicitação, as respostas fornecidas através do questionário de pós-execução do estudo de caso foram analisadas, levando em consideração que foram elaboradas 3 situações diferentes (Seção 6.2.1.2), uma para cada grupo.

O questionário de pós- execução do estudo de caso, apresentado no apêndice B, foi dividido em 5 partes, sendo estas: Parte 1 - Dados Pessoais, Parte 2 – Configuração do estudo de caso, Parte 3 - Desempenho, Parte 4 – Aprendizado, Parte 5 – Sugestões, críticas e comentários. A primeira parte do questionário se refere ao fornecimento de informações básicas do participante, como nome e idade. A segunda

parte se relaciona com a situação pela qual cada participante efetuou a elicitação dos requisitos de Acessibilidade Web. Na terceira parte do questionário foi registrada a opinião de cada participante em relação ao seu desempenho durante a execução da elicitação dos requisitos de Acessibilidade Web.

A terceira parte do questionário contém perguntas que foram respondidas pelos participantes através de critérios que indicam os níveis de desempenho. A seguir serão apresentadas as análises sobre os questionamentos de 1 a 6. Esses questionamentos foram respondidos considerando os seguintes critérios: péssimo, ruim, razoável, bom e excelente. Caso desejasse, o participante poderia justificar a escolha de cada métrica informada. As análises referentes aos questionamentos de 7 a 12 ainda relacionados a 3º parte do questionário são apresentadas no apêndice F, e os questionamentos de 13 a 15 da quarta parte são apresentadas no apêndice G.

O primeiro questionamento do questionário de pós- execução do estudo de caso está relacionado com o desempenho geral dos participantes em relação a estratégia utilizada para a etapa de elicitação. A tabela 26 mostra as respostas dos participantes da etapa de elicitação para a primeira pergunta do questionário.

Tabela 26 - Respostas dos participantes da etapa de elicitação para o questionamento 1 do questionário de pós - execução do estudo de caso

Pergunta Configuração Péssimo Ruim Razoável Bom Excelente

1- Como você classifica o desempenho geral da estratégia para a elicitação dos requisitos de Acessibilidade Web apresentada? Situação 1: Ferramenta + processo + catálogo - - - 4 - Situação 2: Processo + Catálogo - - 2 - - Situação 3: Catálogo - - 2 - -

Como apresentado na tabela 26, os 4 participantes vinculados a situação 1 da etapa de elicitação classificaram como “Bom“ o desempenho geral da estratégia de elicitação dos requisitos de Acessibilidade Web, utilizando o processo proposto juntamente com a ferramenta de apoio Omnes Web e o catálogo de RNFs. Ainda em relação aos participantes da situação 1, de acordo com suas justificativas, a ferramenta Omnes Web tornou o processo de elicitação mais rápido, e a

automatização proporcionada em parte da seleção dos requisitos realça a potencialidade da estratégia de elicitação apresentada.

Os 2 participantes vinculados a situação 2, envolvendo o uso do processo e do catálogo sem a ferramenta, classificaram como “Razoável” o desempenho geral da estratégia de elicitação utilizada, como mostra a tabela 26. Os participantes da situação II não justificaram suas respostas. Os participantes que utilizaram somente o catálogo de requisitos de Acessibilidade, relacionados a situação 3, também classificaram a estratégia utilizada como Razoável. Os participantes da situação 3 alegaram que o procedimento exigia muito tempo, e que uma abordagem sistemática poderia facilitar o andamento da elicitação.

A segunda pergunta do questionário se relaciona com o grau de confiabilidade que os participantes detectaram em relação a estratégia de elicitação utilizada. A tabela 27 apresenta as respostas dos participantes para o questionamento 2 do questionário.

Tabela 27 - Respostas dos participantes da etapa de elicitação para o questionamento 2 do questionário de pós - execução do estudo de caso

Pergunta Configuração Péssimo Ruim Razoável Bom Excelente

2- Como você classifica o aumento do grau de confiabilidade na elicitação dos requisitos de Acessibilidade Web com o uso da estratégia apresentada? Situação 1: Ferramenta + processo + catálogo - - - 3 1 Situação 2: Processo + Catálogo - 1 - 1 Situação 3: Catálogo 1 1

Analisando as respostas fornecidas para a segunda pergunta, apresentadas na tabela 27, é possível constatar que dos 4 participantes da situação 1, 3 classificaram como “Bom” o aumento do grau de confiabilidade na elicitação dos requisitos de Acessibilidade Web, com o uso da estratégia de elicitação apresentada. Enquanto que um participante classificou esse grau de confiabilidade como “Excelente”. Entre as justificativas declaradas, dois participantes alegaram que a abordagem sistemática do processo de elicitação fornecido reduz o surgimento de falhas.

Ainda de acordo com os dados apresentados na tabela 27, um dos participantes da situação 2 classificou como “Ruim” o grau no aumento da confiabilidade na elicitação dos requisitos de Acessibilidade Web, com o uso da estratégia de elicitação apresentada, justificando que não possuía conhecimento e experiência suficiente para classificar a confiabilidade dos dados corretamente. Já outro participante da situação 2 classificou essa confiabilidade como “BOM”, justificando que os resultados foram satisfatórios. Em relação aos participantes da situação 3, as classificações ficaram entre “Ruim” e “Razoável”. Apenas o participante que classificou como “Ruim” a confiabilidade justificou sua resposta, afirmando que sem um método sistemático, a possibilidade de gerar dados confiáveis diminui.

O questionamento 3 aborda como os participante classificaram o suporte oferecido pela estratégia utilizada na etapa de elicitação. A tabela 28 apresenta as respostas dos participantes para o questionamento 3 do questionário.

Tabela 28 - Respostas dos participantes da etapa de elicitação para o questionamento 3 do questionário de pós - execução do estudo de caso

Pergunta Configuração Péssimo Ruim Razoável Bom Excelente

3- Como você classifica o suporte à atividade de elicitação de requisitos de Acessibilidade Web oferecido

pela estratégia apresentada?

Situação 1: Ferramenta + processo + catálogo - - - 2 2 Situação 2: Processo + Catálogo 1 1 Situação 3: Catálogo 2

Conforme os dados apresentados na tabela 28, dos 4 participantes da situação 1, 2 classificaram como “Bom” o suporte oferecido à atividade de elicitação de requisitos de Acessibilidade Web oferecido pela estratégia apresentada, enquanto que os outros 2 classificaram esse suporte como excelente. Nas justificativas fornecidas, havia argumentos de que as informações disponibilizadas pela ferramenta Omnes Web facilitou bastante o trabalho de elicitação.

Em relação as respostas dos participantes da situação de elicitação 2, apresentadas na tabela 28, um dos participantes classificou como Razoável o suporte

fornecido, enquanto que o outro classificou como Bom, não foram fornecidas justificativas. Os dois participantes da situação 3, classificaram o suporte da estratégia de elicitação como Razoável, lembrando que esses participantes utilizaram somente o catálogo de RNFs de Acessibilidade. As justificativas fornecidas pelos participantes da situação III se relacionaram com o fato de que o catálogo de requisitos de Acessibilidade Web contém muitas informações, e que executar a elicitação através dele de maneira manual se tornava uma tarefa complexa e demorada. Os dois participantes da situação 3, também argumentaram que apesar dos procedimentos disponibilizados pela abordagem NFR Framework, passados através do treinamento, ainda sentiram falta de um método sistemático que auxiliasse na varredura do catálogo de RNF.

A quarta pergunta do questionário de pós- execução do estudo de caso se relaciona ao nível de qualidade detectado pelos participantes em relação a documentação gerada durante a etapa de elicitação. A tabela 29 apresenta as respostas dos participantes para o questionamento 4 do questionário.

Tabela 29 - Respostas dos participantes da etapa de elicitação para o questionamento 4 do questionário de pós - execução do estudo de caso

Pergunta Configuração Péssimo Ruim Razoável Bom Excelente

4- Como você classifica o nível de qualidade da documentação gerada através do uso da estratégia

de elicitação apresentada? Situação 1: Ferramenta + processo + catálogo - - - 2 2 Situação 2: Processo + Catálogo 2 Situação 3: Catálogo 2

De acordo com as respostas fornecidas pelos participantes, apresentadas na tabela 29, dos 4 participantes da situação 1 da etapa de elicitação, 2 classificaram como “Bom” o nível de qualidade da documentação gerada pela estratégia adotada, enquanto que os outros dois participantes classificaram como excelente essa documentação. Entre as justificativas, há argumentos informando que o fator diferencial se relaciona com a possibilidade da geração automatizada de artefatos, através da ferramenta Omnes Web.

Os dois participantes da situação 2 da elicitação classificaram como “Bom” o nivel da documentação gerada, como mostra a tabela 29, justificando que apesar do tempo necessário para gerá-los, os resultados foram satisfatórios. Em relação aos participantes da situação 3, a nível de qualidade da documentação gerada foi classificada como Ruim, as justificativas foram relacionadas com o fato de que devido a grande quantidade de dados existentes no catálogo de RNFs, gerar outros artefatos além dele tomaria muito tempo.

O questionamento 5 do questionário de pós- execução do estudo de caso verifica a opinião dos participantes em relação ao tempo despendido para execução das tarefas da etapa de elicitação, de acordo com a estratégia utilizada. A tabela 30 apresenta as respostas dos participantes em relação ao questionamento 5.

Tabela 30 - Respostas dos participantes da etapa de elicitação para o questionamento 5 do questionário de pós - execução do estudo de caso

Pergunta Configuração Péssimo Ruim Razoável Bom Excelente

5 - como você classifica o tempo despendido com o uso da solução apresentada? Situação 1: Ferramenta + processo + catálogo - - 1 3 Situação 2: Processo + Catálogo - 1 1 - - Situação 3: Catálogo 1 1 - - -

Como apresentado pela tabela 30, dos 4 participantes da situação 1, 3 classificaram como “Excelente” o tempo despendido para execução das tarefas utilizando o processo juntamente com a ferramenta Omnes Web. Enquanto apenas 1 considerou o tempos despendido como “Razoável”, justificando que a tarefa de análise de impacto entre os RNFs tomou muito tempo. Em relação aos participantes da situação 2, o tempo despendido foi classificado como “Ruim” e “Razoável”. A