Como objetivo secundário do trabalho de pesquisa procura-se descobrir as principais características que são relacionadas à satisfação do usuário e à qualidade dos AVAs utilizados como apoio ao ensino presencial. Tal meta busca responder a questão de quais são as dimensões de qualidade de maior relevância para os alunos em relação a tais sistemas. Indaga- se quais são os atributos nestes sistemas que são considerados importantes e satisfazem o corpo discente. Ressalta-se que a avaliação com o discente refere-se à qualidade esperada de um sistema considerado ideal, e não a experimentada. O presente trabalho procura medir somente a qualidade esperada, ou seja, quais são as expectativas dos usuários quanto aos requisitos de qualidade da informação e do design dos AVAs. A seguir são apresentados os resultados da pesquisa descritiva que refletem à importância das características de qualidade nos AVAs.
7.1 Método de Pesquisa
De acordo com a classificação de Kerlinger (1979), a pesquisa pode ser enquadrada como um não-experimento, de natureza descritiva. A abordagem escolhida para a pesquisa é a quantitativa, que se caracteriza pela quantificação na coleta e no tratamento das informações (RICHARDSON, 1999). A pesquisa foi realizada por meio de um survey, com corte transversal, feito mediante a aplicação de questionários auto-preenchíveis com os discentes. Desta forma, os dados foram coletados em um ponto do tempo, com base em uma amostra selecionada, para descrever e apresentar a população estudada.
7.1.1 Operacionalização das Variáveis
No total, a partir da revisão teórica de características de qualidade em AVAs expostas no Capítulo 4, foram selecionados 36 atributos referentes às funcionalidades próprias dos AVAs para serem avaliadas, em termos de importância, pelos discentes. Deste total, agrupou-se 20 variáveis referentes às funcionalidades de comunicação e interação e 16 relativas às
ferramentas individuais de trabalho. Os Quadros 09 e 10 apresentam as definições das funcionalidades de trabalho individual e de comunicação, que servem como base para a captação dos requisitos de qualidade em AVAs.
Além das funcionalidades próprias dos AVAs, mensurou-se 07 características referentes à qualidade da informação, com exclusão da característica de relevância da informação, uma vez que a suposição comum é de que informações irrelevantes tenham normalmente avaliação baixa quanto à importância. Também foram medidas 09 características referentes à usabilidade do sistema, com a inclusão da característica que se refere à disponibilidade do AVA. Os Quadros 07 e 08 apresentam as definições das características de qualidade encontradas na literatura, segmentadas em qualidade da informação e do sistema. No total, foram selecionadas 52 características relativas à qualidade em AVAs. O Quadro 17 apresenta a relação de variáveis e os respectivos códigos de tabulação de cada uma delas.
A operacionalização destas variáveis ocorre através da revisão teórica já apresentada com base no que foi encontrado na literatura, presentes nos Quadros 07, 08, 09 e 10. As questões de captação de importância são divididas em três partes. Tem como base o Modelo Kano de captação de requisitos (KANO et al, 1984) A primeira parte capta a questão funcional do atributo, a segunda a questão disfuncional e a terceira solicita a atribuição da importância do atributo em uma escala de 11 graus, sendo o valor 0 atribuído ao menor nível de importância, ou atributo totalmente irrelevante, e o dez atribuído ao maior nível de importância. Este modelo de questionário para captação de requisitos de qualidade é semelhante ao usado em Liu (2002).
Quadro 17 – Variáveis de Pesquisa - Importância das Características
Cód Descrição
QINFO1 Atualidade - As informações devem ser atuais
QINFO2 Autoria - As informações devem apresentar referências à sua autoria e fonte de origem QINFO3 Completude - As informações devem ser concisas, mas suficientes, na quantidade adequada QINFO4 Confiabilidade - As informações devem ser confiáveis e representar a realidade
QINFO5 Exatidão - As informações devem ser corretas, livre de erros gramaticais e/ou ortográficos
QINFO6 Interpretabilidade - As informações devem ser de fácil compreensão e fáceis de se ler visualmente e textualmente QINFO7 Precisão - As informações devem ser precisas com alto nível de detalhamento
QSIST1 Atratividade Visual – A aparência deve ser agradável com um visual simples
QSIST2 Consistência - deve ter um estilo visual padronizado, coeso em seus aspectos visuais
QSIST3 Disponibilidade - deve estar disponível a todo momento para acesso, sem erros em todos os dias da semana QSIST4 Facilidade de Acesso – As informações devem estar disponíveis e serem facilmente encontradas
QSIST5 Interatividade - deve permitir o máximo de interação possível, interação virtual face-a-face e criação colaborativa QSIST6 Intuitividade - deve ser intuitivo, fácil de se usar e de se operar
QSIST7 Navegação – A navegação deve ser fácil, intuitiva e consistente, sem erros de navegação
QSIST8 Performance - deve ter alta performance, rapidez para carregar e apresentar as páginas e informações QSIST9 Segurança – O acesso às informações é restrito e as informações no ambiente são seguras e privativas FTI01 Acompanhamento de Atividades - deve possuir área para monitoramento das atividades desenvolvidas FTI02 Atividades e Jogos Online- deve disponibilizar atividades e jogos educacionais online para os participantes FTI03 Auto Avaliação - deve disponibilizar espaço para comparação das notas do aluno com as demais notas da turma FTI04 Bloco de notas - deve possuir um espaço privado disponível ao aluno para anotações pessoais
FTI05 Controle Operacional - capacidade de controlar a ordem e complexidade em que a informação é apresentada FTI06 Func Acesso - dever conter meios para ser acessado por todos, inclusive pessoas com deficiências físicas FTI07 Func. Retorno - deve ter funcionalidades para dar retorno à problemas dos alunos com rapidez
FTI08 Glossário - deve disponibilizar glossários com termos de ajuda e os principais conceitos e termos da disciplina FTI09 Histórico de atividades - deve disponibilizar uma área que armazena as páginas visitadas e o histórico das
atividades realizadas
FTI10 Idiomas - deve estar disponível em outros idiomas
FTI11 Informações Gerais - deve disponibilizar informações gerais sobre o curso (ementas, objetivos, cronogramas e atividades previstas) e sobre os professores
FTI12 Links Externos - deve disponibilizar e permitir a inclusão de atalhos para sites e materiais de outros sites FTI13 Lista de Participantes - deve disponibilizar uma área que apresenta uma relação dos participantes, com acesso a
dados pessoais
FTI14 Material para Download - deve disponibilizar arquivos em formato eletrônico de material de aula para download
FTI15 Mecanismos de Busca - deve conter mecanismos de busca para procura de informações FTI16 Personalização - deve identificar o usuário e personalizar o ambiente para cada visita
FIC01 Ambiente 3D interativo - deve disponibilizar um ambiente de interação de bate papo que simula um ambiente real FIC02 Área do Estudante - deve disponibilizar uma área de arquivos pessoais do estudante para serem compartilhados FIC03 Áudio conferencia - deve disponibilizar salas de bate papo em que é possível o uso de texto, voz e som FIC04 Blog - deve disponibilizar Blogs, espaço para criação de conteúdo próprio dos participantes
FIC05 Chat textual - deve disponibilizar salas de bate papo (chat) textual para interação em grupo em tempo real FIC06 Comunicador Instantâneo - deve disponibilizar uma área de conversa e troca de arquivos em tempo real FIC07 Comunidades de Aprend. - deve permitir a criação de grupos de trabalho para projetos de aprendizagem
colaborativa em conjunto
FIC08 Correio eletrônico interno - deve disponibilizar e-mail aos participantes com possibilidade de envio de arquivos FIC09 Diversão - deve ser divertido de explorar, com aspectos de entretenimento, humor e diversão
FIC10 FAQ Ajuda - deve conter ferramentas e menus de ajuda, área de perguntas freqüentes (FAQ) e suporte online FIC11 FAQ Inteligente - deve conter um sistema de respostas imediatas às dúvidas com base na base de dados das
perguntas já realizadas e no histórico dos participantes
FIC12 Fóruns de discussão - deve disponibilizar fóruns de discussão em grupo sobre temas diversos
FIC13 M-Learning - deve estender as funcionalidades para serem acessíveis também via equipamentos móveis FIC14 Multimídia - As informações devem estar em diversos tipos de mídia.
FIC15 Mural - deve disponibilizar uma área para publicação de avisos e notícias, agenda e calendário FIC16 Perfil do aluno - deve disponibilizar páginas pessoais de identificação do estudante
FIC17 Sala de Aula Virtual - deve conter um espaço que simula a sala de aula, com a apresentação simultânea de vídeo, slides, narrações e Imagens
FIC18 Vídeo conferencia - deve disponibilizar salas de bate papo em que é possível o uso de vídeo, voz e sons FIC19 Whiteboard - deve disponibilizar uma área para edição colaborativa entre os participantes em tempo real
FIC20 Wiki - deve disponibilizar ferramentas Wikis para construção coletiva de textos na web em formato multimídia
7.1.2 Método e Instrumento de Coleta
A coleta de dados para a captação de requisitos de qualidade em AVA também foi realizada pela aplicação de questionário auto-preenchível. O instrumento de coleta foi composto por blocos de questões fechadas. A parte inicial do questionário contém uma descrição dos objetivos da pesquisa e instruções para seu preenchimento.
O primeiro bloco apresenta as questões de captação da importância das características de qualidade da informação, do sistema e das funcionalidades dos AVAs. A primeira parte de cada questão à esquerda apresenta a indagação funcional (com base no Modelo Kano) e a segunda à direita a questão disfuncional. Logo abaixo há uma escala crescente de 11 graus (de 0 a 10) para atribuição da importância da respectiva característica mensurada.
O segundo bloco contém variáveis a respeito do uso, da intenção de uso, da satisfação e do nível de importância geral dado aos sistemas. Contém ainda outras questões que refletem a intenção de uso do sistema, tempo, habilidade e outras informações a respeito do uso do AVA. Todas estas questões são avaliadas em uma escala de 0 a 100%. Também foi questionada a opinião do entrevistado quanto à eficiência do AVA como apoio ao ensino presencial e os motivos para uso e/ou não uso do sistema. O questionário aplicado junto aos discentes para identificação da importância das características está disponível para consulta no Anexo 06.
7.1.2.1 Pré-Teste
O pré-teste do questionário de captação de requisitos foi realizado com 7 alunos de graduação. Foram escolhidos por conveniência do pesquisador para refinar o instrumento de pesquisa. Com a realização do pré-teste diversas questões do Modelo Kano foram revistas na redação pois davam margem a duplas interpretações do instrumento de coleta. Com a elaboração final do questionário, o processo de coleta de dados foi realizado mediante a aplicação dos questionários em sala de aula diretamente com os alunos. Também nesta fase de pesquisa, a coleta de dados foi feita exclusivamente via contato pessoal. Não houve coleta de questionários pela internet ou outro meio de coleta.
7.1.3 Amostragem
A unidade de analise do levantamento consiste nos alunos de graduação, da IES em estudo. A escolha da IES foi de forma não-probabilística por conveniência do pesquisador, uma vez que este faz parte do quadro de pesquisadores da IES e tem fácil acesso ao público alvo da população em estudo. A IES disponibiliza o AVA à sua comunidade, como apoio ao ensino presencial apenas e não oferece cursos exclusivamente á distância. A população da pesquisa consistiu nos alunos de graduação da IES dos cursos da área de ciências sociais aplicadas. O método de amostragem dos alunos foi não-probabilístico, uma vez que todos os alunos foram solicitados a responder o questionário em sala de aula, e assim, alunos que não se encontravam em sala no momento da aplicação não fizeram parte da amostra.
Pelo caráter essencialmente descritivo desta fase da pesquisa, diferentemente da etapa anterior, não houve a mesma preocupação em relação ao tamanho da amostra como a observada na pesquisa que trata sobre o Modelo de Relações em AVAs. Como destaca Gil (1999) questionários extensos apresentam alta probabilidade de não serem respondidos. A captação de importância de um total de 52 requisitos, por meio do Modelo Kano, gerou um questionário extenso em sua aplicação. Desta forma, considerou-se um menor nível de confiança como aceitável para esta fase de pesquisa. O número de questionários retornados foi igual a 238. Deste total, 10 questionários foram retirados da análise devido a respostas inconsistentes. Consequentemente, o tamanho da amostra para a pesquisa descritiva de importância de características foi de 228 respondentes. Tal número corresponde na amostragem probabilística simples a uma margem de erro aproximada de 6,5%, com um nível de confiança de 95%.
7.1.4 Método de Execução e Análise
Uma vez encerrado o método de coleta, os dados foram tabulados em software com pacote estatístico próprio para a análise estatística de dados, inclusive análise multivariada. Uma vez tabulados, os dados foram analisados e conferidos com vistas a correção de erros de digitação e eliminação de casos com inconsistências nas respostas. Neste momento foi realizada uma análise exploratória do banco de dados para a verificação de dados ausentes, dados atípicos (outliers).
Após verificadas as suposições para a análise estatísticas, com a eliminação de casos duvidosos, iniciou-se o processo de análise dos resultados. O primeiro passo analítico foi a descrição estatística uni e bivariada dos resultados. A meta de identificação das características que importam nos AVAs, de uma forma detalhada, foi possível de ser alcançada a partir da análise da importância atribuída a cada característica encontrada na literatura. Foi feita uma classificação das características de acordo com o Modelo Kano, que segmenta atributos em atrativos, normais, obrigatórios ou indiferentes (KANO et al, 1984). Pretendeu-se classificar as características de acordo com os critérios sugeridos no Modelo Kano. Foi realizada uma matriz de classificação das características que classifica as variáveis como Atrativas, Obrigatórias, Normais ou Indiferentes, de acordo com as instruções de classificação do modelo apresentado no Quadro 03.
Em seguida foi identificada a importância das características de acordo com o valor de importância atribuído a cada requisito. Tal identificação feita por meio de análise das medidas de tendência central, média e mediana, e de dispersão, desvio padrão, dos valores atribuídos à importância das características. Para verificar a importância foi realizado um teste “t” de diferença de médias em relação ao valor intermediário de 5, na escala de 0 a 10.
Com os valores das médias calculados, foi possível estabelecer uma comparação das médias das características com base na classificação das características a partir do Modelo Kano. Foi feita por meio da Análise de Variância ANOVA com as médias das importâncias por categoria. Esta análise visou identificar diferenças das médias de importâncias atribuídas aos distintos grupos de requisitos verificados pelo Método Kano e pelas categorias de características. Por fim, procurou-se identificar visualmente as principais características consideradas importantes para os AVAs. O Quadro 18 apresenta uma visão geral do método de análise da pesquisa descritiva relativa à importância das características.