4.4.4.1 Avaliação heurística
Com a avaliação heurística foi possível inspecionar alguns problemas com relação a interface, os quais podem ocasionar problemas de interações desde os mais pequenos aos mais catastróficos. Os graus de severidade das heurísticas foram considerados: 0 – Eu não concordo
que isto seja um problema; 1 – Cosmético (não necessita ser consertado a menos que tenha tempo extra); 2 – Pequeno (baixa prioridade); 3 – Grande (Alta prioridade); 4 – Catastrófico (é imperativo corrigir antes de lançar o produto). Foi possível criar gráficos que quantificam o número de problemas encontrados por heurísticas e número de problemas por heurística e seu grau de severidade.
As Figuras 7 e 8 exibem os gráficos de resultados do aplicativo Autplus e no Apêndice H (Tabela 1) consta a descrição de todos os problemas por heurística e suas respectivas melhorias sugeridas. Pode-se notar que o Autplus apresenta um total de 8 problemas (Figura 8) que podem afetar a interação, dentre eles grandes problemas de estética (3), prevenção de erros (2) e um problema catastrófico de liberdade e controle do usuário.
Figura 7 – Gráfico do número de problemas AutPlus
Fonte: A autora.
Figura 8 – Gráfico do número de problemas e seu grau de severidade Autplus
As Figuras 9 e 10 mostram o resultado da avaliação do aplicativo AutQuiz e a descrição dos problemas, com suas respectivas sugestões de melhorias, consta no Apêndice H na (Tabela 2). Para este aplicativo foram identificados 12 problemas (Figura 10) nas heurísticas, os quais todos são de grande relevância ou catastróficos. Problemas de padrão e consistência, estética, liberdade e controle do usuário estão em maior quantidade, podendo depreender sobre fatores críticos no aplicativo.
Figura 9 – Gráfico do número de problemas AutQuiz
Fonte: A autora.
Figura 10 – Gráfico do número de problemas e seu grau de severidade AutQuiz
Fonte: A autora.
As Figuras 11 e 12 mostram o resultado do aplicativo Autec e a descrição dos problemas com suas respectivas sugestões de melhorias encontra-se no Apêndice H (Tabela 3). No aplicativo foram identificados 10 problemas nas heurísticas (Figura 12), os quais todos são de grande relevância ou catastróficos. O maior quantitativo dos problemas identificados é
com relação a visibilidade do estado do sistema e estética e design, implicando profundamente nos aspectos de usabilidade, eficiência e satisfação do usuário, sendo 8 problemas catastróficos (Figura 12).
Figura 11 – Gráfico do número de problemas Autec
Fonte: A autora.
Figura 12 – Gráfico do número de problemas e seu grau de severidade Autec
Fonte: A autora.
As figuras13 e 14 mostram o resultadoo resultado da avaliação heurística realizada no aplicativo Guia e a descrição dos problemas consta no Apêndice H (Tabela 4). Foram identificados 4 problemas (Figura 14)), sendo 2 de baixa prioridade e 2 catastróficos, que é imperativo corrigir antes de lançar o produto.
A avaliação heurística realizada indicou que os aplicativos apresentam problemas de grande relevância, implicando profundamente nos aspectos de usabilidade, eficiência e satisfação do usuário. Portanto, pode-se depreender fatores críticos nos aplicativos, impossibilitando
Figura 13 – Gráfico do número de problemas Guia
Fonte: A autora.
Figura 14 – Gráfico do número de problemas e seu grau de severidade Guia
Fonte: A autora.
interação satisfatória, sendo necessária assim, de redesign, a fim de melhorar-los e aperfeiçoa- los.
4.4.4.2 Teste de usabilidade
O teste de usabilidade foi utilizado para avaliar o aplicativo "Guia de um autista”. Participaram desta avaliação 11 cuidadores e sua participação foi voluntária. Para análise do s resultados do teste com usuários foram considerados: checklist de observação dos usuários e o questionário já mencionado.
Checklist de observação dos usuários
Com o checklist de observação dos usuários foi possível registrar e observar por meio dos vídeos feitos no decorrer do teste, o tempo de execução de cada tarefa pelos participantes, a taxa de sucesso (com e sem ajuda), e observações gerais (Apendice J).
O tempo médio de execução de cada tarefa foi calculado somando o tempo em segundos (s) de cada participante e dividindo esse valor pelo total de participantes no teste resultando em: • Tarefa 1 = 99,54545455s • Tarefa 2 = 19,09091s • Tarefa 3 = 26,36364s • Tarefa 4 = 37,36364s • Tarefa 5 = 30,63636s • Tarefa 6 = 22,90909s • Tarefa 7 = 23,63636s
Para se calcular a taxa de sucesso, foram considerados os valores “0”, “1” e “2” para as seguintes categorias, respectivamente: “sem ajuda”, “com ajuda” e “sem ajuda com dificuldades”. E, ao contabilizar a quantidade de cada valor por categorias e tarefas, obteve-se uma média de 64% de execuções de tarefas sem ajuda, 19% sem ajuda e com dificuldades e apenas 17% necessitaram de ajuda.
Para o cálculo da taxa de sucesso também foi considerado a média de cada tarefa individualmente. Se o participante tivesse com o tempo abaixo da média e não tivesse solicitado ajuda, observado no vídeo, atribuía-se “0”, caso contrário “1” e se estivesse acima da média atribuía-se “2” ou “1”.
Pela observação dos avaliadores e pelas entrevistas realizadas com os participantes, aqueles que tiveram maiores dificuldades e maior solicitação de ajuda, não possuíam contato constante com smartphones, sendo que um deles nunca tinha tido contato com esta tecnologia.
Pode-se inferir duas observações a respeito do teste realizado: 5 dos participantes confundiram a Tarefa 1, selecionando “Tipos de autismo” ao invés de “O que é autismo”; e 7 participantes tiveram dificuldades em identificar os tipos de autismo, não considerando ou ficando na dúvida de que as síndromes presentes em “Tipos de autismo” como tipos de autismo. O Apêndice J está todas as observações realizadas nesta seção.
Análise do questionário SUS
O SUS foi calculado de acordo com as respostas de cada participante e, em seguida, calculou-se a pontuação média deles obtendo como resultado 65,91 pontos para a versão mobile. Segundo Boucinha e Tarouco (2013) uma pontuação SUS acima de 68 pontos é considerada acima da média, e que abaixo dessa pontuação o sistema apresenta graves problemas de interface
e/ou interação. O cálculo do SUS consta no Apêndice K. Sugestões oferecidas pelos participantes
Algumas sugestões foram mencionadas pelos participantes durante ou ao final do teste. Estas foram registradas pelo observador nas quais são:
• Inserir atividades extra curriculares para realizar com a criança com TEA;
• Inserir mais dicas de brincadeiras e, se possível, em forma de vídeo, ou de animações com os materiais a utilizar, não apenas dicas;
• Adicionar atividades para realizar com a criança, separadas por nível de severidade do TEA;
• Possibilitar jogos de concentração, visualização, percepção, e atividades de interação; • Inserir lembrete de medicamentos para o cuidador não esquecer do horário da medicação; • Acrescentar mais conteúdos sobre o TEA, vídeos de psicólogos e imagens.
4.4.4.3 Aderência as diretrizes do GAIA
A verificação da aderência do GAIA foi realizada por meio de um checklist disposto no Apêndice I. O cálculo foi realizado, contabilizando a quantidade de diretrizes que determinado aplicativo cumpria, não cumpria ou cumpria parcialmente, dividindo o resultado pelo total de diretrizes. Para o aplicativo Autec obteve-se o seguinte resultado, onde 68% das diretrizes não são cumpridas (Tabela 1). Para o aplicativo Autplus foi observado que 39% das diretrizes não são seguidas, conforme apresentado na Tabela 2. E para o aplicativo AutQuiz, 71% das diretrizes não são cumpridas, como demostra a Tabela 3.
Tabela 1 – Taxa de aderência Autec
Cumpre Não cumpre Cumpre parcialmente Não se aplica
14% 68% 4% 14%
Fonte: A autora.
Tabela 2 – Taxa de aderência Autplus
Cumpre Não cumpre Cumpre parcialmente Não se aplica
32% 39% 18% 11%
Fonte: A autora.
Tabela 3 – Taxa de aderência AutQuiz
Cumpre Não cumpre Cumpre parcialmente Não se aplica
18% 71% 7% 4%
5 CONCLUSÃO
Este trabalho realizou uma avaliação de aplicativos desenvolvidos por alunos do ensino médio para pessoas com TEA da comunidade russana durante a execução de um projeto de extensão da Universidade Federal do Ceará – Campus Russas. Após estudo de caso de avaliação de tais aplicativos, foi possível identificar grandes problemas de usabilidade, impossibilitando o uso eficiente e agradável. Todos os aplicativos possuem falhas na execução, problemas que devem ser ajustados com urgência por se caracterizar catastrófico. Além disso, foram identificados vários problemas de estética no qual ocasionaria o mau uso e estresse aos usuários com TEA. Vale ressaltar que o aplicativo que menos possui problemas com relação as heurísticas de Nielsen, apresentou um média de 65,91 pontos em sua pontuação SUS, estando assim abaixo da média geral que é 68 e portanto tendo graves problemas de interfaces, tornando-se assim primordial a sua refatoração.