Muitos são os estudos que têm como principal objetivo analisar o desempenho dos alunos, em especial em Matemática. Esses estudos desenham um panorama dos fatores associados ao desempenho, das propostas curriculares e das habilidades dos alunos, alguns dos quais são referenciados a seguir.
Pesquisas empíricas realizadas por volta da década de 60, como o “Relatório Coleman” nos Estados Unidos, o “Relatório Plowden” na Inglaterra (BROOKE e SOARES, 2008) entre outros, mostraram que as desigualdades observadas no desempenho dos alunos eram mais bem-explicadas por fatores extra-escolares. Isso causou, num primeiro momento, a impressão de que a escola teria pouco impacto no desempenho dos alunos. Entretanto, a busca pelos fatores que pudessem diferenciar as escolas induziu uma série de pesquisas, muitas objetivando entender melhor os fatores determinantes do desempenho escolar dos alunos.
No entendimento de Soares (2004a),
os fatores que determinam o desempenho cognitivo pertencem a três grandes categorias: os associados à estrutura escolar, os associados à família e aqueles relacionados ao próprio aluno (p. 83). [...] São tantos os fatores escolares associados ao desempenho do aluno que nenhum deles é capaz de garantir, isoladamente, bons resultados escolares (p. 86).
Soares (2004b) discute a qualidade10 e a equidade11 da educação básica brasileira, utilizando dados do SAEB 2001. Esse pesquisador apresenta resultados importantes acerca do desempenho dos alunos brasileiros em Matemática. Os resultados encontrados para os alunos das 4ª e 8ª séries do Ensino Fundamental e do 3º ano do Ensino Médio evidenciam que o Ensino Médio agrega pouco, em termos cognitivos, a seus alunos. Esse estudo também compara os valores estimados da
10
A qualidade de um sistema educacional está relacionada à capacidade de ele promover altos índices de desempenho.
11 A equidade de um sistema educacional está relacionada à redução da influência dos contextos socioeconômicos sobre a educação.
proficiência com os valores esperados para cada uma das três séries e conclui que, de modo geral, a proficiência dos alunos está muito aquém dos valores julgados adequados para cada série avaliada, evidenciando sérios problemas de qualidade no sistema educacional brasileiro, no que diz respeito ao desempenho em Matemática.
Uma análise mais detalhada do desempenho em Matemática no SAEB foi realizada com os dados dos alunos da 8ª série do ensino fundamental (SOARES, 2004b). Os resultados mostraram que existem diferenças nas proficiências dos alunos discriminados por sexo, região, cor e sistema de ensino, e que, em geral, os melhores resultados em Matemática são dos alunos do sexo masculino, de cor branca, das escolas particulares e das regiões Sul e Sudeste do Brasil. Esses resultados mostram, portanto, as desigualdades do sistema educacional brasileiro. O desempenho escolar dos alunos está associado a uma grande diversidade de fatores, entre os quais as oportunidades que a família e a sociedade em geral lhes propiciam, antes e durante o processo de escolarização. Em um estudo similar, Soares e Collares (2006) analisam o impacto de diferentes fatores familiares associados ao melhor desempenho dos estudantes brasileiros em Matemática, reforçando a ideia de que os recursos familiares impactam a aprendizagem dos mesmos. Objetivando identificar evidências da existência de efeitos de cada um dos tipos de recursos familiares no desempenho dos alunos, esses autores utilizaram os dados dos estudantes da oitava série das escolas públicas, submetidos ao teste de Matemática do SAEB. Os resultados mostram que as famílias que possuem os maiores recursos econômicos também são, em geral, as que possuem os maiores recursos culturais. Em consonância com a teoria da reprodução de Pierre Bourdieu (BOURDIEU e PASSERON, 2009), esses resultados, comprovam que os alunos que possuem as melhores posições socioeconômicas também são os que obtêm os melhores desempenhos em Matemática. Esses estudantes, possuidores de maiores recursos econômicos, também teriam maior capital cultural e, assim, teriam maiores oportunidades de obter sucesso escolar. Em oposição, os alunos com atraso escolar são, em geral, provenientes de famílias com poucos recursos culturais, econômicos e sociais.
A desigualdade racial no sistema brasileiro também se mostra um fator importante influenciando o desempenho dos alunos. Soares e Alves (2003) realizaram um estudo com os dados do SAEB objetivando conhecer os sistemas de ensino em relação à sua capacidade de produzir a eficácia e equidade educacional em relação à diversidade de estratos raciais. Mesmo após o controle do nível socioeconômico, esses pesquisadores constataram que existem diferenças de desempenho entre os alunos de diferentes raças. A diferença entre brancos e negros se mostrou mais acentuada do que a diferença entre brancos e pardos, indicando que a equidade entre esses últimos é um cenário mais próximo do que a equidade entre alunos brancos e negros. Soares e Alves (2003) concluíram que é de grande importância a formulação e implementação de políticas públicas e escolares com a finalidade de reduzir o impacto do nível socioeconômico e da raça no desempenho dos alunos. Em Nunes (2011), faço um estudo das desigualdades sociais versus desempenho em Matemática sob a ótica de Pierre Bourdieu, usando resultados de análises do desempenho realizadas com dados do SAEB e do PISA. Esse estudo evidencia que, se, por um lado, existe associação entre os fatores econômicos/culturais no desempenho, por outro, isso não é um componente estrutural de qualquer sociedade. Entretanto, no caso do Brasil, existem fortes evidências do impacto das origens sociais na atuação dos alunos em Matemática.
Outros autores, como Lahire (1995), questionam a possibilidade de se explicar o desempenho de um indivíduo específico por meio do estabelecimento de uma relação direta e necessária entre posição social de origem do aluno e o sucesso escolar. Uma investigação em escala individual, como a proposta por Lahire, permite revelar, no entanto, que, por trás da aparente uniformidade, há uma grande diversidade a ser investigada. Mesmo quando ocupam uma mesma posição na estrutura social, os indivíduos realizam, dentro do sistema de ensino, trajetórias únicas e recebem, portanto, um conjunto diferenciado de influências sociais que podem impactar o seu desempenho.
Bonamino et al. (2010), usando os dados do PISA 2000, analisaram os efeitos das diferentes formas de capital, bem como a sua mobilização no contexto familiar sobre o desempenho dos estudantes brasileiros em Leitura, visando investigar como arranjos estruturais diferenciados de capital econômico e social se relacionam com o
desempenho escolar. Dois achados sociologicamente importantes dessa pesquisa foram: a variável designada como diálogo familiar se mostrou um fator com grande poder explicativo do desempenho escolar, indicando, dessa maneira, a importância da mobilização da rede de apoio social familiar; o desempenho dos estudantes é diferente segundo os arranjos de capital econômico e social. Alunos oriundos de famílias possuidoras de alto capital econômico e baixo recurso familiar possuem desempenho médio abaixo da média geral ao passo que alunos oriundos de famílias possuidoras de baixo capital econômico e alto recurso familiar possuem um desempenho médio acima da média geral. Esses resultados mostram a importância da mobilização do capital social familiar para a vida e o desempenho escolar dos filhos.
A respeito das escolas eficazes, Luck (2010) afirma que o seu maior objetivo é a melhoria do desempenho dos seus alunos. A autora aponta que as escolas “de sucesso”, isto é, aquelas cujos alunos têm melhor desempenho acadêmico, são, em geral, as que se empenham em acompanhar as mudanças do mundo tecnológico e científico, atualizando seu currículo. Para explicar esse sucesso, associa-o aos seguintes fatores: liderança educacional, flexibilidade e autonomia, clima escolar, apoio da comunidade, processo ensino/aprendizagem, avaliação do desempenho acadêmico, supervisão de professores, materiais e textos de apoio pedagógico e espaço adequado.
Os resultados referentes ao desempenho dos alunos em avaliações internacionais têm mostrado grandes diferenças entre países e entre escolas do mesmo país (BRASIL, 2008). Gomes (2005) afirma que, além das origens sociais dos alunos, outras características condicionam a qualidade e o grau de democratização da escola. Aponta vários atributos influentes na constituição desse tipo de escola, entre os quais menciona o clima escolar. No modelo de Casassus (2002) apud Gomes (2005, p. 293),
a mais relevante variável explicativa do aproveitamento discente foi o clima favorável à aprendizagem, definido como situações em que os alunos se davam bem com os colegas, não havia brigas, o clima escolar era descrito como harmonioso e não havia interrupções das aulas.
As pesquisas nacionais também apontam o clima escolar associado ao desempenho dos alunos. Soares (2004a) afirma:
o ambiente na sala de aula está diretamente ligado aos resultados na aprendizagem dos alunos. A interação entre os professores cria oportunidades para o desenvolvimento de relações que podem ter enorme impacto institucional. O ideal é a escola constituir como uma comunidade em que haja o sentimento de unidade, em que se busque o consenso na solução de conflitos e amplas oportunidades para trocas intelectuais. (...) Embora se trate de uma idealização, evidências empíricas mostram que os resultados cognitivos dos alunos são melhores nas escolas que possuem essas estruturas, e mais importante, são as escolas com estas estruturas que conseguem diminuir as diferenças de desempenho entre os diferentes grupos de alunos. (p. 91)
Segundo Ortigão (2010), desde a década de 60, a pergunta acerca da responsabilização pelos baixos resultados dos estudantes tem sido feita nos discursos e imaginários educacionais e suas respostas buscam culpar, na maioria das vezes, o professor. Os resultados discutidos anteriormente, referentes a pesquisas mais atuais, permitem-nos redirecionar outras respostas à pergunta de responsabilização. Estamos de acordo com Brooke (2006), para quem tais resultados são de responsabilidade de todos. Portanto, todos (alunos, professores, gestores, familiares entre outros) precisamos assumir a co-responsabilização a fim de garantir que os alunos aprendam Matemática e, desse modo, melhorem os seus desempenhos.
Como apresentamos até o momento, dentro da área da Educação e numa perspectiva mais ampla, diversas pesquisas vêm sendo feitas tomando por base os dados fornecidos pelas avaliações sistêmicas. No entanto, assumindo uma perspectiva diferente daquela que será a nossa neste trabalho, essas pesquisas frequentemente abordam principalmente os fatores sociais, familiares e escolares que podem estar associados ao desempenho do aluno (SOARES et al., 2001). Dentre esses fatores, os citados com maior frequência estão relacionados ao nível socioeconômico dos alunos.
Há, no entanto, escassez de estudos, principalmente com dados brasileiros, que abordem o desempenho do aluno levando em consideração aspectos relacionados com o próprio conteúdo matemático, considerando, por exemplo, diferentes subáreas da Matemática. Em nenhum momento se pretende passar ao leitor a ideia
de que não se consideram relevantes os fatores socioeconômicos e outros, bem como seus efeitos sobre o desempenho do aluno, em especial na aprendizagem de Matemática. O que se pretende e que também se considera importante é a avaliação do desempenho em Matemática, de modo que seja possível mergulhar dentro dessa grande área do conhecimento, dando a conhecer as habilidades que já foram consolidadas pelos alunos brasileiros em Incerteza, proporcionando uma reflexão em torno daquilo que, em nosso país, tem sido priorizado e/ou se tem conseguido ensinar aos alunos.
A respeito das produções brasileiras relacionadas à avaliação em Educação Matemática, Soares (2010) aponta que poucos foram os estudos nesse campo da Avaliação e, ainda, que a maior parte deles se concentrou no foco temático referente às concepções, à formação docente e prática avaliativa. A autora discute a classificação da “Distribuição dos Trabalhos por Foco Temático”, utilizada no referido trabalho, e menciona os estudos realizados no Paraná, sob a orientação da professora Regina Buriasco, que utilizam dados não apenas para verificar quantitativamente o que os alunos acertam ou erram, mas para apreciar de que natureza é a sua produção matemática. Dessa maneira, considera fundamental a diferença quantitativa e qualitativa entre as naturezas dos estudos, não por julgar uma ou outra mais importante, mas por constatar que a mídia divulga somente os resultados quantitativos desconsiderando a dupla face na análise dos resultados e o poder que uma tem de complementar a outra.
Assim, Soares (2010) cita a possibilidade de pesquisar os resultados da participação brasileira não apenas focando o resultado final do desempenho dos alunos no PISA e considera que, apesar dos esforços empreendidos pelos responsáveis pelo PISA no INEP, não tem sido possível evitar que somente esses resultados sejam amplamente divulgados, sem que seja feita a pergunta: Por que o Brasil participa da prova? Do seu ponto de vista, é hora de “aguçar o olhar naquilo que produzem os alunos, ao tentarem resolver os itens desse tipo de prova, bastante diferente dos que temos produzido, principalmente para avaliar alunos do Ensino Fundamental.” Afirma que os alunos brasileiros, embora tenham os piores resultados nas provas de Matemática, foram os que tiveram o mais alto índice de melhoria de desempenho. Destaca, ainda, que são poucas as investigações temáticas no campo da Educação
Matemática brasileira que tomaram a avaliação educacional na Escola Básica como objeto de pesquisa.
É importante que os professores sejam capazes de ler e compreender, a fim de conhecer o que está ou deveria estar sendo ensinado e como os alunos dão sentido ao que estão aprendendo. O referencial teórico do PISA para a Avaliação de Matemática informa as práticas dessa avaliação e contribui, de forma significativa, na elaboração das diretrizes brasileiras para os programas de avaliação nacional e/ou estadual do Ensino de Matemática, especialmente no caso do ENEM, cuja prova se aproxima mais do PISA (SOARES, 2010).
Apesar de o Brasil ter participado de todas as edições do PISA, ainda é tímida a produção de trabalhos que refletem sobre seus resultados. Dentre as publicações que tomam esse programa como objeto de reflexão, destacam-se as contribuições de Dickel (2010). A autora analisa 51 artigos publicados entre 2001 e 2009 em periódicos científicos, buscando apreender a percepção da produção acadêmica brasileira sobre o PISA. Dickel (2010) conclui que o PISA está consolidado como um aporte importante para a elaboração de objetos de estudo e como referência de análise. No entanto, constata que “poucas foram as produções encontradas que problematizam, com profundidade e rigor, o currículo que esse Programa, junto com outros sistemas de avaliação, põe na ordem do dia”.
Considerando a importância dos resultados das avaliações em larga escala como instrumentos adequados para compreender o currículo aprendido, Aguiar e Ortigão (2012) utilizaram os dados do PISA 2003 para comparar ênfases diferenciadas nos currículos de Matemática ensinados entre Brasil e Portugal. A partir de uma análise do Funcionamento Diferencial do Item (DIF), os resultados dessa pesquisa evidenciaram que alguns itens da subárea de Quantidade se mostraram mais fáceis aos alunos brasileiros, enquanto os itens da subárea de Mudanças e Relações eram mais fáceis para os alunos portugueses. A compreensão de tais resultados evidenciam a relevância e necessidade de trabalhos que ampliem o debate curricular no campo da Educação Matemática.
Lagarto et al. [s.d] buscam compreender os pontos fortes e as fragilidades do Ensino de Matemática em Portugal, através dos resultados dos alunos na subárea de
Mudanças e Relações, avaliada no PISA 2003. Esse estudo objetiva entender os resultados desses alunos à luz das competências matemáticas avaliadas pelo PISA, fazendo uma comparação com as competências do currículo nacional. Além disso, eles realizam uma análise dos itens divulgados dessa subárea da Matemática avaliada no PISA 2003, apresentando breves comentários sobre a solução do item, explorando a classificação dos itens segundo o modelo teórico do PISA e comparando os resultados dos alunos portugueses aos da OCDE.
Ortigão (2010) aponta o crescimento das iniciativas de avaliação em educação que tem ocorrido no Brasil nos últimos anos, chegando a constatar que vivemos “em tempos de avaliação”. E qual seria o significado dessas iniciativas para a literatura educacional? Segundo a autora, elas ressaltam a importância no avanço de aspectos metodológicos e institucionais, no monitoramento das políticas educacionais e na promoção de políticas de equidade. Em seu estudo, ela problematiza a apropriação dos resultados da avaliação em larga escala, partindo da crença de que o conhecimento dos processos constitutivos desse tipo de avaliação pode contribuir para o “empoderamento dos professores, de forma consciente e crítica, ampliando seus olhares sobre a sua escola”, embora os resultados analisados não sejam diretamente da sua sala de aula. No seu artigo, a autora cita uma grande pesquisa em periódicos da língua inglesa, realizada por Ross, Hogoboam-Gray e Mc Dougall (2002, apud Ortigão, 2010), pretendendo fazer uma revisão sobre os estudos empíricos que mostravam evidências dos efeitos da reforma do Ensino de Matemática sobre o desempenho dos alunos. Dentre as características mais importantes citadas nos artigos revisados, para um ensino que tem a pretensão de renovar-se, ela destaca a necessidade de “ampliação do campo de conteúdos matemáticos a serem ensinados”, apontando a necessidade de se enfatizar conteúdos menos ensinados e cita, como exemplo, o ensino de probabilidade, em vez de “focar exclusivamente em números e operações”.
2 REFERENCIAIS TEÓRICOS
Este capítulo apresenta os conceitos fundamentais que orientaram a elaboração dos itens da avaliação de Matemática do PISA 2003, especialmente o conceito de letramento. Um enfoque particular é dado para a base teórica da avaliação no domínio da Matemática do PISA 2003 (OCDE, 2003, OCDE, 2005a; GAVE, 2004a).