Neste estudo, a avaliação foi realizada por meio da validação de aparência e conteúdo, conforme relatado a seguir e demonstrado na Figura 1. Esta foi dividida em dois momentos de forma subsequente:
a) Validação aparente e de conteúdo do curso on-line por juízes;
b) Validação aparente e de conteúdo do curso on-line pelos adolescentes;
A validação aparente verifica basicamente a aparência, sendo o recurso educativo julgado em relação à clareza dos itens, à facilidade de leitura, à compreensão e à forma de apresentação do material educativo. A validade de conteúdo se refere ao domínio de um dado constructo ou universo que fornece a representação do conteúdo nas formulações de questões que representem adequadamente as informações apropriadas ao material analisado (POLIT; BECK, 2011).
5.2.2.1.1 Primeiro momento: validação aparente e de conteúdo do curso on-line por juízes A aparência e o conteúdo do curso on-line foi avaliado por juízes da área de adolescente e drogas, além de juízes com experiência em educação a distância (EaD), curso on-line e AVA Moodle.
Para selecionar os juízes, de cada um dos grupos de validação, utilizou-se a amostragem por bola de neve. Conforme Polit e Beck (2011), ao se identificar um juiz, o mesmo foi solicitado a sugerir outros participantes. Logo após a indicação, o Curriculum Lattes dos profissionais foi analisado para verificar se os mesmos obedeciam aos critérios de inclusão.
Quanto ao número ideal de juízes para o processo de validação, a literatura é diversificada. Lynn (1986) recomenda um mínimo de cinco e máximo de dez especialistas. No entanto, Pasquali (1998) e Bertoncello (2004) apontam que o número de sujeitos deve ser seis. Barbosa (2012) convidou para o processo de validação de seu curso on-line um total de nove especialistas: três juízes em enfermagem, três juízes em informática e três juízes em
pedagogia. Destaca-se que alguns estudos têm demonstrado a importância de se utilizarem números ímpares de juízes para evitar empate de opiniões (SAWADA, 1990; LOPES, 2004). Desta forma, fica evidente que não existe consenso na literatura sobre o número de juízes que devem ser selecionados.
Diante do exposto, optou-se neste estudo por utilizar a fórmula para estudos de comparação de uma proporção, que considera a proporção final dos sujeitos em relação a uma variável dicotômica e a diferença máxima aceitável desta proporção. Assim, o tamanho amostral foi definido por:
Zα2 . P. (1-P)
N= _________________ d²
Onde Zα refere-se ao nível de confiança, P é proporção de juízes que concordam que o item é adequado e d é a diferença de proporção considerada aceitável. São adotados os seguintes parâmetros: Nível de confiança de 95% (Zα2= 1,96), Proporção mínima de 85% de
concordância com a pertinência de cada item avaliado (P=85%), e uma diferença de 15% nesta concordância, incluindo um intervalo de 70 a 100%. O cálculo final foi definido por n=1,962. 0,85. 0,15)/0,152 que resultou em 22 juízes que foram incluídos nesta etapa,
(HULLEY et al., 2008).
Conforme alguns estudos que também trabalharam com validação, são considerados juízes aqueles que atingiram no mínimo cinco pontos nos critérios apresentados na Quadro 5 (SILVA, 2015; TELES, 2011; FREITAS, 2012).
Quadro 5 – Critérios de inclusão dos juízes das áreas de adolescente e drogas.
Juízes Pontuação
Tese ou dissertação na área de interesse* 2 pontos/trabalho Monografia de graduação ou especialização
na área de interesse* 1 ponto/trabalho
Participação em grupo/projeto na área de
interesse* 1 ponto/ano
Experiência docente na área de interesse* 0,5 ponto/ano Atuação prática na área de interesse* 1,0 ponto/ano Orientação de trabalhos na área de interesse* 0,5 ponto/trabalho
Autoria em trabalhos da área de interesse*
publicado em periódicos 0,25 ponto/trabalho
Participação em bancas avaliadoras de
trabalhos na área de interesse* 0,25 ponto/trabalho Fonte: SILVA (2015).
Quadro 6 – Critérios de inclusão dos juízes em EaD, AVA Moodle e curso on-line.
Juízes Pontuação
Atuação em Hipermídia/Educação a
Distância/Moodle 1 ponto/hipermídia
Dissertação ou tese relacionada à temática
tecnologia educacional 1 ponto/pesquisa
Produção científica na temática tecnologia
educacional 0,25 ponto/trabalho
Atuação prática na área de tecnologia
educacional 0,5 ponto/ano
Experiência na criação de curso on-line 1 ponto/curso Fonte: elaborada pela autora (2018).
Os 30 juízes que preencheram os critérios de inclusão, ou seja, dez na área de adolescente, dez na área de drogas e dez na área de EaD/AVA Moodle/curso on-line, foram convidados a participar do estudo por meio da Carta-Convite (APÊNDICE B), via e-mail ou pessoalmente, a qual trouxe os objetivos da pesquisa, os métodos adotados e a função que os mesmos executariam no estudo. Após aceitação, foi disponibilizado o Termo de Consentimento Livre e Esclarecido (TCLE) (APÊNDICE C), para que fosse realizada anuência. Em seguida, foram enviados os instrumentos de validação (APÊNDICES D e E), login e senha de acesso ao curso on-line no AVA Moodle.
Aceitaram participar do estudo os 29 juízes, no entanto, apenas 26 retornaram o instrumento de validação: dezessete na área de adolescente e drogas e nove na área de EaD/AVA Moodle/curso on-line. Cada avaliador teve o prazo de 15 dias, contados a partir da data de envio do e-mail ou da entrega do material pessoalmente, para avaliação e retorno à pesquisadora.
Os juízes que atuam nas áreas de adolescente e drogas avaliaram objetivos (referem-se ao assunto abordado na tecnologia e seus vários aspectos); estrutura e apresentação (refere-se à forma de apresentar o texto. Envolve, portanto, a organização geral, a estrutura, a estratégia de apresentação, a coerência e suficiência); relevância (refere-se às características que avaliam o grau de significação do material do curso); e ambiente (refere-se ao cenário utilizado para o aprendizado) (APÊNDICE D).
Os juízes em EaD/AVA Moodle/curso on-line avaliaram funcionalidade (funções que são previstas pelo curso on-line e que estão dirigidas a facilitar o aprendizado); usabilidade (esforço necessário para usar o curso on-line, bem como o julgamento individual desse uso por um conjunto explícito ou implícito de usuários); e eficiência (relacionamento
entre o nível de desempenho do curso on-line e a quantidade de recursos usados sob condições estabelecidas) (APÊNDICE E).
Os instrumentos de validação foram um questionário individual na forma de Escala de Likert, utilizada com frequência para mensurar o nível de concordância e discordância das respostas (HULLEY et al., 2008). Essa escala forneceu aos respondentes uma lista de proposições ou questões para mensurar o grau de sua resposta. Os instrumentos foram construídos e adaptados de acordo com estudos anteriores sobre validação de tecnologias educativas em saúde e a cada resposta foi atribuído um número de pontos: 4- concordo; 3- concordo parcialmente; 2- discordo parcialmente; 1- discordo (BARBOSA, 2012; LOPES, 2009; TELES, 2011).
Os dados encontrados foram organizados e analisados através do software IBM Statistical Package for Social Science (SPSS), versão 23. Foram calculadas frequências absoluta e relativa para variáveis qualitativas, bem como média e desvio padrão para quantitativa. Os resultados foram apresentados em gráficos e tabelas.
Para análise dos dados, foram calculados os Índices de Validade de Conteúdo (IVC). O escore do índice foi calculado por meio da soma de concordância dos itens que foram marcados com 3 e 4 pelos juízes, divididos pelo número total de respostas. Os itens que receberem 1 e 2 foram revisados ou eliminados, conforme as sugestões dos juízes. Portanto, consideraram-se os itens do instrumento de avaliação que apresentarem índice de concordância maior que 0,8 (RUBIO et al., 2003).
A validação com os juízes foi realizada no segundo semestre de 2017 e em seguida foi incorporada as sugestões, configurando, assim, a etapa de manutenção do curso on-line. Na análise, os conteúdos do curso não aprovados pelos juízes foram readequados ou corrigidos de acordo com a necessidade e, com isso, o curso foi validado.
5.2.2.1.2 Segundo momento: validação aparente e de conteúdo do curso on-line pelos adolescentes
Neste momento, os adolescentes dos cursos técnicos e superiores do IFCE Campus Maracanaú, na faixa etária de 15 a 19 anos, foram convidados a participar da pesquisa. Optou-se por uma amostra em torno de 30 a 40 alunos, visto que é a quantidade de alunos que são matriculados semestralmente em cada disciplina.
Dessa forma, foram realizadas visitas em várias salas de aula, nos três turnos do IFCE, com intuito de esclarecer os objetivos da pesquisa, os métodos adotados e a função que
os mesmos iriam executar no estudo. Após aceitação, foi disponibilizado o Termo de Consentimento Livre e Esclarecido (TCLE) (APÊNDICE F), para os pais dos adolescentes autorizarem a participação destes, e o Termo de Assentimento (APÊNDICE G) foi preenchido pelo adolescente junto ao respectivo responsável. Ainda durante as visitas, anotou-se nome e telefone do adolescente, além do que foi agendado o horário mais adequado para que este comparecesse ao laboratório de informática do IFCE.
Aceitaram participar do estudo 50 alunos, no entanto, apenas 40 compareceram ao laboratório no período agendado, devolveram os termos de consentimento e de assentimento preenchidos, e estavam de acordo com os seguintes critérios de inclusão: idade entre 15 e 19 anos, tinham noções básicas de informática, e não apresentavam nenhuma limitação no aprendizado que comprometesse o acesso à informação. Portanto, dez alunos foram excluídos tendo em vista que não devolveram os documentos no prazo estabelecido ou não compareceram ao local agendado.
Os adolescentes foram divididos em quatro grupos de dez. Foram disponibilizados quatro períodos em quatro dias distintos, ou seja, se o aluno estudasse pela manhã, teria oportunidade de participar no período da tarde ou da noite. No laboratório de informática do bloco da química e meio ambiente do IFCE, os participantes foram apresentados ao curso de forma geral pela pesquisadora e, em seguida, receberam login e senha de acesso ao curso on- line, no AVA Moodle, a fim de que navegassem pelo tempo que eles julgassem necessário. Logo após, responderam às questões do instrumento de validação (APÊNDICE H). Cada adolescente precisou de 60 a 120 minutos para visualizar o curso e responder ao instrumento de validação.
O instrumento de validação do curso on-line utilizado com os adolescentes foi composto por um questionário individual na forma de Escala de Likert que avaliou acessibilidade (aspectos relacionados à facilidade de acesso, navegação, interatividade e comunicabilidade); usabilidade (facilidade de uso e navegabilidade, permitindo a interatividade e comunicabilidade); funcionalidade (a proposta do curso é adequada?, é capaz de gerar resultados positivos?); estrutura e apresentação (estrutura das informações e estilo do texto correspondente ao nível de conhecimento dos adolescentes); relevância (a importância do conteúdo e se o tema ilustra as necessidades de informação); e ambiente (ambiente apropriado para o tipo de informação e se oferece situações de aprendizagem e exemplos) (APÊNDICE H). Este instrumento foi construído e utilizado por Aguiar (2006), em estudo sobre ambiente virtual de aprendizagem e adaptado para este estudo.
Os dados encontrados foram organizados e analisados através do software IBM Statistical Package for Social Science (SPSS), versão 23. Foram calculadas frequências absoluta e relativa para variáveis qualitativas, bem como média e desvio padrão para quantitativa. Os resultados estão apresentados em gráficos e tabelas.
Para análise dos dados, foram calculados os Índices de Validade de Conteúdo (IVC). O escore do índice foi calculado por meio da soma de concordância dos itens que foram marcados com 3 e 4 pelos adolescentes, divididos pelo número total de respostas. Os itens que receberem 1 e 2 foram revisados ou eliminados, conforme as sugestões dos alunos. Portanto, consideraram-se os itens do instrumento de avaliação que apresentarem índice de concordância maior que 0,8 (RUBIO et al., 2003).
Semelhante à fase de validação dos juízes, se algum aspecto ou conteúdo do curso não foi aprovado pelos adolescentes, foram realizados os ajustes necessários para, com isso, validá-lo.