No presente trabalho também analisamos como as concepções de avaliação predizem as definições de avaliação dos alunos (hipótese 4). Uma combinação de procedimentos exploratórios e confirmatórios foi utilizada. No primeiro momento, foi realizado um Escalonamento Multidimensional exploratório para descobrir a estrutura subjacente às definições de avaliação dos alunos. Esse procedimento exploratório foi necessário porque cinco dos 12 itens originais do questionário foram modificados para se adequarem à realidade de alunos do ensino superior brasileiro. O modelo de medida encontrado foi testado posteriormente em uma análise fatorial confirmatória. Com relação às concepções de avaliação, somente um item foi excluído do original do SCoA (item 33).
Para testar um modelo estrutural, utilizamos inicialmente o modelo encontrado por Brown et al. (2009) (práticas formais e interativo-informais), pois o critério para a seleção de variáveis dever ser sempre teórico e baseado em pesquisas anteriores. No entanto, a solução para esse modelo foi inadmissível nos dados da amostra brasileira.
Assim, foi iniciado um novo procedimento exploratório por meio da utilização de regressões múltiplas. Cada uma das três definições de avaliação foi utilizada como variável dependente em um modelo de regressão múltipla onde as oito concepções de avaliação eram as variáveis independentes. Foram selecionados coeficientes de regressão que eram significantes para serem adicionados na Modelagem de Equações Estruturais. Vários modelos foram testados.
O modelo apresentado na FIG. 6 foi o que apresentou o melhor ajuste: χ2(205, N= 756) = 940.095, p < . 0000, CFI= .90, TLI= .96, Gamma hat= .96, RMSEA=.069,
SRMR=.062.21 Cinco índices indicam um bom ajuste, sugerindo que as relações estruturais propostas se ajustam bem ao modelo. O software MPLUS versão 3.11 foi utilizado para realizar a Modelagem de Equações Estruturais. A análise foi conduzida usando o estimador robusto do MPLUS para a análise de indicadores categóricos chamado Mean and variance-adjusted weighted least squares estimator (WLSMV).
FIGURA 6 - Modelagem de Equações Estruturais
Nota: Todos os coeficientes de regressão apresentados foram estatisticamente significantes, p < . 05.
21
Os índices de ajuste do modelo utilizados na Análise Fatorial Confirmatória e na Modelagem de Equações Estruturais são os mesmos. Na realidade, a AFC pode ser considerada um tipo especial de MEE.
Como indicado na FIG. 6, a definição “Formal/controle do professor” foi predita
positivamente pela concepção “Melhora (aluno)”, β = .15 e pela concepção “Emoção (sala)”, β = .23. Essa mesma definição foi predita negativamente pela concepção “Emoção (aluno)”, β = -.56 e pela concepção “Irrelevante (ruim)”, β = -.39. (R2
= .11) A definição “Formal/controle do aluno” foi predita positivamente pela concepção “Emoção (sala)”, β = .28 e negativamente pelas concepções “Emoção
(aluno)”, β = -.49 e “Irrelevante (ruim)”, β = -.22. (R2
= .08 )
A definição “Informal/controle do professor” foi predita positivamente pela
concepção “Emoção (sala)”, β = .20 e negativamente pela concepção “Irrelevante (ignorar)”, β= -.22. (R2
= .11)
Esse modelo revelou que a definição de avaliação como práticas formais (controle do aluno e professor) diminuiu com uma concordância de que a avaliação era uma experiência agradável (Emoção-aluno) e algo ruim (Irrelevante-ruim). Em outras palavras, é como se os estudantes estivessem dizendo: “Se a avaliação é formal, eu não necessariamente penso que seja uma experiência agradável para mim. Apesar disso, eu também não considero as avaliações formais como algo ruim”.
A definição “Formal/controle do professor” ainda aumenta com uma
concordância de que a avaliação era para a melhora do aluno (Melhora-aluno). Assim, poderíamos acrescentar a seguinte parte na fala hipotética do aluno no parágrafo anterior: “Além disso, se a atividade avaliativa é formal e controlada pelo professor, ela me ajuda a melhorar o meu aprendizado, me ajuda nos meus próximos passos de
aprendizagem”. Merece destaque aqui o fato de que a concepção “Melhora” só é
associada no pensamento dos alunos com a definição de avaliação como uma prática formal e controlada pelo professor.
Todos os tipos de definição de avaliação (formais e informais) foram preditos positivamente por um aumento percebido em benefícios da sala de aula (Emoção-sala). Dessa forma, os alunos parecem perceber que todos os tipos de atividades avaliativas estão associados com benefícios como a motivação dos colegas e o clima da turma. Nos resultados encontrados na Nova Zelândia, somente práticas avaliativas informais foram
preditas positivamente pela concepção “Emoção-sala” (BROWN et al., 2009).
Finalmente, a definição de avaliação como práticas informais controladas pelo professor diminuiu com uma concordância de que a avaliação era algo a ser ignorado (Irrelevante-ignorar). Em outras palavras, é como se os alunos estivessem dizendo: “Se a avaliação é informal e controlada pelo professor, ela é boa para a dinâmica e o clima da sala de aula. Além disso, eu não considero esse tipo de atividade avaliativa como
algo a ser ignorado”. Essa relação entre a definição “informal” e a concepção “Irrelevante-ignorar” foi no sentido oposto dos resultados encontrados na Nova
Zelândia para estudantes do ensino médio, onde os alunos consideraram esse tipo de atividade avaliativa como algo a ser ignorado (BROWN et al., 2009). Assim, a hipótese 4 foi parcialmente corroborada.
O sentido da relação entre a definição “informal” e a concepção “Irrelevante-
ignorar” na amostra brasileira é o resultado mais difícil de ser interpretado do ponto de
vista teórico. Para que isso aconteça, seria necessário dizer que avaliações informais como a autoavaliação estivessem sendo realizadas no ensino superior e levadas em consideração pelo professor. Para entender melhor esse resultado no Brasil, seria necessário descobrir em pesquisas futuras como atividades avaliativas informais estão sendo conduzidas no ensino superior. Entretanto, apesar dos alunos da amostra brasileira não ignorarem esse tipo de avaliação, um ponto importante que discutimos na análise do Escalonamento Multidimensional precisa ser lembrado: quando os alunos definem o que realmente é avaliação, eles na verdade não consideram práticas de avaliação informais (ex: avaliação feita pelos colegas). Os alunos associaram a avaliação essencialmente com práticas formais.
Outro ponto relevante da análise do Escalonamento Multidimensional a ser lembrado aqui é que nove dos 12 tipos de atividades avaliativas caíram em quadrantes
“controlados pelo professor”. Após a AFC, esse número aumentou para 10, pois o item “D” migrou de “Informal/controle do aluno” para “Informal/controle do professor”.
Dessa forma, nossa hipótese é que os alunos da amostra brasileira não ignoram atividades informais por perceberem que elas são controladas pelo professor. Isso aumenta a probabilidade dessas atividades serem utilizadas de forma relevante. Essa interpretação vai na mesma direção de estudos anteriores que demonstram que os alunos expressam uma necessidade ou desejo de um forte direcionamento por parte dos professores (PETERSON; IRVING, 2008). Isso também fica evidente nos nossos resultados de outra forma: se a atividade é formal e controlada pelo professor, os alunos acreditam que ela ajuda a melhorar o aprendizado deles. Porém, o nosso modelo demonstra que, no pensamento dos estudantes, atividade formal e controlada pelo aluno não melhora a aprendizagem deles.
Outra possível explicação para os estudantes não ignorarem atividades informais se refere a um aspecto de nossa amostra, que era em sua maioria constituída por alunos de um Centro Universitário privado (Pública, N= 297, Privada, N= 459). Essa IES privada havia passado recentemente por uma reforma curricular onde foi introduzido em
todos os cursos um trabalho interdisciplinar. Esse tipo de trabalho faz uso de mais atividades avaliativas informais e mais uso de avaliação formativa. Essa é uma hipótese a ser considerada, pois acreditamos que nossas concepções sobre algo surgem de experiências concretas no nosso cotidiano. Portanto, é possível que algumas práticas estejam começando a se modificar no ensino superior.