A partir da estratégia e da metodologia de pesquisa detalhadas nas se- ções 2.4.1 e 2.4.2, elaborou-se um modelo de análise dos resultados buscando avaliar em que nível o software produzido diminuiu a dificuldade de criação e vi- sualização de estruturas cristalinas e quanto contribuiu com a democratização do conhecimento no contexto deste projeto – ou seja, se os objetivos do trabalho fo- ram atingidos segundo uma validação de viés construtivista (seção 2.2). Em uma pesquisa-ação, a avaliação final dos resultados, pelo viés da teoria crítica, deve verificar, com base nas impressões dos atores sociais, em que grau o problema social colocado foi atendido e o nível de empoderamento conquistado. Desta ma- neira, como delineado na seção 2.4.1.1, essa avaliação foi dominada por análises
qualitativas baseadas na experiência dos atores sociais com as diversas versões incrementais do CrystalWalk, sendo muitas delas realizadas de maneira contínua, a cada ciclo de desenvolvimento, e outras aplicadas apenas à versão final do aplicativo. No entanto, alguns itens do problema, seguindo a listagem do APÊNDICE B, podem ser avaliados objetivamente segundo a postura pragmática. Foram utilizados diferentes procedimentos de avaliação geral, um para avaliação da implementação da instância do aplicativo e outros dois para avaliar separada- mente os aspectos de síntese e visualização.
Cabe frisar que as recomendações de Creswell (2002), comentadas ao longo da seção 2.3, foram aplicadas nestas avaliações para aprimorar o rigor da pesquisa qualitativa. A abordagem multilateral garantiu múltiplas fontes de dados para corroborar os resultados. A experimentação durante um longo período ga- rantiu uma exposição suficiente com os participantes para garantir um entendi- mento razoável das questões sendo estudadas, além de consistência da interpretação dos dados com a visão do grupo. Outra recomendação é detalhar as descrições para explicitar os parâmetros e os achados da pesquisa, o que foi feito tanto no levantamento e amadurecimento dos requerimentos como nas múltiplas e longas avaliações realizadas. Essas descrições podem ser encontradas no ca- pítulo 4 e no APÊNDICE B. Membros selecionados entre os atores sociais, bem como revisores externos, atuaram como auditores dos procedimentos e resulta- dos. Finalmente, é possível verificar em todas as avaliações uma postura autorre- flexiva e ética, garantindo que tanto os pontos positivos como as limitações tenham sido devidamente apresentados e discutidos.
Na sequência, serão detalhadas as avaliações contínuas, realizadas a cada nova versão do desenvolvimento do CrystalWalk, e as avaliações realizadas na versão corrente.
2.4.3.1 Avaliação contínua
A avaliação específica do processo de síntese de estruturas cristalinas ocorreu por meio de testes de construção de algumas estruturas clássicas seleci- onadas (seção 4.5.3.1). A eficácia dos métodos de síntese propostos foi mensu- rada a cada ciclo de desenvolvimento. A eficácia da última versão foi atestada por meio de uma comparação com os três melhores softwares segundo o quesito sín- tese, avaliando a possibilidade e a dificuldade de se construirem as estruturas
propostas nos testes com base em dados obtidos em material didático comumen- te utilizado no ensino das engenharias.
Por meio da avaliação especifica dos aspectos de visualização de es- truturas cristalinas, verificou-se como cada funcionalidade do CrystalWalk atende aos problemas didáticos identificados (seção 3.1.2). Ou seja, se essas funcionali- dades permitem, e em que grau, o entendimento do conceito “rede + motivo = es- trutura cristalina” e a identificação de contatos, distâncias atômicas e empilhamentos de planos (seção 4.5.3.2). Em suma, esses problemas podem ser reduzidos a explicitar a organização geométrica da célula unitária e do cristal. Os testes de visualização utilizaram-se das mesmas estruturas propostas nos testes de síntese e foram também aplicados a cada ciclo de desenvolvimento.
A interface do aplicativo também foi avaliada ciclicamente, a cada nova versão do aplicativo. No caso das tarefas de síntese, a interface foi avaliada pela fluidez da sequência das atividades, ou seja, quão bem essas atividades estavam encadeadas, considerando a organização da interface gráfica. Nas tarefas de vi- sualização, foi verificado se as opções de visualização estavam bem organizadas e encadeadas e se eram acessíveis e compreensíveis pelo usuário. Essa avalia- ção, inspirada em pesquisas de experiência do usuário, ou user experience (UX), foi feita inteiramente com base nas impressões dos atores sociais, cujos depoi- mentos foram registrados e dos quais alguns trechos serão apresentados.
2.4.3.2 Avaliações da versão final
O primeiro método de avaliação geral da versão final do CrystalWalk foi analisá-la segundo os mesmos critérios a que haviam sido submetidos os softwa- res encontrados na frente de levantamento. Os resultados dessa avaliação podem ser conferidos na seção 4.5.2. Os softwares que atenderam a um número maior de itens da lista de critérios foram considerados os melhores – em outras pala- vras, são os que melhor atendem aos problemas levantados junto aos atores so- ciais envolvidos (para um detalhamento desses problemas, ver APÊNDICE D). Portanto, somaram-se pontos para cada item atendido pela solução e comparou- se esse resultado com a soma total, considerada solução ideal. Julgou-se propício comparar com os melhores softwares existentes, considerando os três melhores em cada grupo de critérios, evitando vieses na avaliação. Nesse sentido, deve ser frisado que não foi adotada nenhuma ponderação dos itens, ou seja, a todos foi
atribuído o mesmo valor. A última instância pública do CrystalWalk também foi avaliada quanto à sua implementação. Buscou-se atestar o atendimento de uma parte das especificações técnicas da aplicação (avaliação cujos resultados se en- contram na seção 4.5.1).
O segundo método de análise geral da versão final do CrystalWalk foi mensurar, em caráter preliminar, o impacto das diversas possibilidades interativas propiciadas por recursos emergentes da área de realidade virtual selecionados, como estereoscopia e captura de movimento das mãos (seção 4.5.6). Nesta aná- lise, o intuito foi verificar quais benefícios ou limitações os aspectos únicos desses recursos trouxeram à resolução dos diversos problemas identificados, quando comparados aos meios mais tradicionais, partindo do pressuposto de que uma interação mais próxima à experimentada no mundo real propicia resultados supe- riores. Dessa forma, projetou-se e executou-se um experimento no qual o grau de imersão foi incrementado progressivamente e as reações dos usuários, observa- das e analisadas. Maiores detalhes sobre essas tecnologias e os conceitos relaci- onados a imersão são apresentados na seção 3.3.5.1.
Finalmente, o quesito democratização foi avaliado separadamente (se- ção 4.5.7), dada a sua relação com um aspecto essencial da pesquisa-ação, que é o empoderamento (ampliação da capacitação ou do poder; empowerment) do grupo social afetado pela ação. O empoderamento foi avaliado com base no in- cremento oferecido, por meio da solução proposta, em termos de acesso ao co- nhecimento e às ferramentas e funcionalidades essenciais para a melhoria do ensino. Seguindo a justificativa deste projeto, entende-se que qualquer facilitação conquistada nos processos de síntese e visualização e as possíveis melhorias de compreensão propiciadas pela ferramenta proposta também propiciam maior acesso ao conhecimento da área em questão.