Como já foi dito, a amostra selecionada para este estudo é composta pelos alunos avaliados na 4ª série do ensino fundamental, entre 1997 e 2005, matriculados nas escolas públicas (exceto as escolas federais) e privadas localizadas na área urbana. Portanto, cabe uma rápida verificação do comportamento das médias e das distribuições empíricas do desempenho escolar baseada nesta amostra. O GRAF. 1 apresenta a tendência do desempenho escolar médio:
GRÁFICO 1 - Desempenho escolar médio dos alunos da 4ª série do ensino fundamental, matemática, Brasil, 1997 a 2005
170 175 180 185 190 195 200 1997 1999 2001 2003 2005 Ciclo do SAEB D esem p e n h o esco lar m é d io
Fonte dos dados básicos: INEP, Sistema de Avaliação da Educação Básica (SAEB), 1997, 1999, 2001, 2003 e 2005. Nota: 1) exclusive alunos de escolas rurais e federais.
2) magnitude do declínio, em pontos da escala do SAEB, em parênteses.
Observamos que o desempenho escolar médio em apresentou uma trajetória declinante entre 1997 e 2001. A partir de 2003, verificamos uma reversão desta tendência, assim como já foi relatado na seção 2.3, no capítulo 2. Os valores em parênteses indicam a magnitude das mudanças na média dentro de cada biênio. Observamos que o biênio 1997-
(-10,12)
(-3,00)
(1,51)
1999 caracteriza-se pela maior diferença no desempenho médio, dada por uma redução de 10,12 pontos em matemática. Este declínio representa uma variação negativa de 5,26%. Embora façamos uma análise conjunta das escolas públicas e privadas, podemos ver que a redução na média não foi um evento exclusivo das escolas da rede pública. Observamos, pela TAB. 8, que mesmo nas escolas particulares, onde o público escolar é formado, em sua grande maioria, por crianças e jovens que vivem em um ambiente familiar com maiores estímulos para o estudo, houve uma redução no nível médio do desempenho escolar entre 1997 e 1999. Nos anos seguintes, o desempenho médio apresentou um leve aumento, mas permaneceu abaixo do nível encontrado em 1997.
TABELA 8 - Desempenho escolar médio dos alunos da 4ª série do ensino fundamental, por rede de ensino, matemática, Brasil, 1997 a 2005
1997 1999 2001 2003 2005 Matemática 192,29 182,17 179,17 180,68 186,09 Particular 223,50 214,87 218,42 221,68 223,35 Pública 177,98 173,44 168,64 172,20 174,44 Estadual 179,25 173,64 170,30 174,34 177,23 Municipal 176,18 173,22 167,03 170,06 171,73 Disciplinas e rede de ensino
Ciclos de avaliação do SAEB
Fonte dos dados básicos: INEP, Sistema de Avaliação da Educação Básica (SAEB), 1997, 1999, 2001, 2003 e 2005.
Percebe-se que em todas as redes de ensino e em ambas as disciplinas, o maior nível médio do desempenho escolar é encontrado no ciclo de avaliação do SAEB realizado em 199737. Mesmo com a recuperação do desempenho médio global, verificada a partir de 2003, é possível notar que o aumento nas médias não foi suficiente para chegar ao nível alcançado em 1997. Antes de analisar as possíveis explicações para este resultado – que serão tratadas nos próximos capítulos – é importante considerar a hipótese de este resultado estar refletindo mudanças no processo de coleta e produção dos escores.
37
O primeiro ano disponível na série histórica do SAEB é o ano de 1995, que não foi incluído nesta análise por causa de limitações inerentes a esta base de dados (ausência de informações sobre a escolaridade dos pais). No entanto, é importante apenas citar que em 1995 o desempenho médio dos alunos da 4ª série do ensino fundamental foi um pouco superior às médias alcançadas em 1997, na disciplina de português, e manteve-se estável na disciplina de matemática, como pode ser visto na TAB. 1 do capítulo 2.
Conforme mencionado anteriormente, a partir do ciclo de 1999, houve uma mudança no método de amostragem do SAEB: as unidades primárias de amostragem passaram a ser as escolas e não os municípios, como nos ciclos anteriores38. Segundo o SAEB (1999), esta mudança foi introduzida com o objetivo de alcançar maior precisão nas estimativas da média do desempenho dentro de cada Unidade da Federação, pois cada etapa de conglomeração pode resultar em uma perda de precisão das estimativas. No entanto, um documento elaborado pelo INEP (2007, p.4), que analisa as médias do desempenho em uma perspectiva comparada, ressalta que “em todas as edições do SAEB os procedimentos de amostragem basearam-se em metodologia científica, que garante a precisão das estimativas dos parâmetros populacionais”39.
Em relação ao processo utilizado na produção dos dados, respaldamo-nos nos documentos e artigos técnicos que explicam o método de construção e atribuição dos escores e garantem a sua comparabilidade ao longo dos anos (BRASIL, 2000; Fontanive et al., 2007; INEP, 2007). Esta garantia é dada pelo uso da Teoria de Resposta ao Item e pela adoção de itens comuns em todos os ciclos de avaliação. Por fim, apenas para ressaltar a confiabilidade na comparação dos resultados, citamos uma passagem de um relatório produzido pelo INEP (2007):
... faz-se necessário salientar que a população de referência do SAEB é dinâmica, ou seja, os alunos que a constituem em cada ciclo apresentam uma estrutura variada, como por exemplo, em relação ao nível sócio- econômico-cultural, fatores não controlados pelo sistema. Além disso, o próprio sistema educacional apresenta um dinamismo próprio, cujas mudanças são captadas pelo SAEB, apesar de não serem controladas por ele. Nessa linha, em cada levantamento do SAEB houve pequenas variações que deram a forma final para as populações de referência. O mesmo ocorreu na definição das amostras. Todavia, manteve-se similaridade na sua estrutura, permitindo, dessa maneira, comparação entre os anos. (p.4)
Dando seqüência à análise comparativa dos resultados, calculamos as curvas de densidade de probabilidade dos escores em cada ciclo de avaliação do SAEB com o intuito de
38
Neste sentido, a amostra de alunos em cada disciplina é considerada como uma amostra obtida em três etapas: a primeira etapa é definida pela seleção de escolas, a segunda pela seleção de turmas e a terceira definida pela seleção, dentro da turma, de um grupo de alunos para cada disciplina avaliada (BRASIL, 2006).
39
É importante deixar claro que no cálculo das estimativas reportadas nesta tese foram utilizados os pesos amostrais que, como consta no dicionário de dados do SAEB 2001, garante a compensação dos efeitos da amostragem com taxas diferenciadas nos diversos estratos da pesquisa.
analisar as diferenças entre os anos. A análise baseada na média, como feita anteriormente, apesar importante em uma análise exploratória dos dados, esconde as variações ocorridas nos diversos segmentos da distribuição dos escores. Portanto, uma interpretação mais detalhada requer o estudo do comportamento das curvas de distribuição do desempenho escolar, como apresentado no GRAF. 2:
GRÁFICO 2 - Densidade de probabilidade da proficiência em matemática, 4ª série do ensino fundamental, Brasil, 1997 a 2005
Fonte dos dados básicos: INEP, Sistema de Avaliação da Educação Básica (SAEB), 1997, 1999, 2001, 2003 e 2005. Nota: As densidades foram estimadas por meio da função Kernel Epanechnikov e o parâmetro de suavização foi obtido pela regra prática de Silverman (1986).
Ao comparar as curvas, o primeiro aspecto observado é o deslocamento para a esquerda das curvas de densidade de probabilidade da proficiência escolar dos estudantes avaliados após o ano de 1997. Além deste deslocamento, estas curvas se destacam por terem uma quantidade maior de estudantes com menores habilidades cognitivas, como pode ser visto pelo adensamento da cauda inferior. A distribuição do desempenho em 2001 atinge o ápice desta expansão. É possível observar, também, um leve estreitamento da cauda superior, principalmente em 1999, indicando uma redução na densidade de alunos com desempenho mais elevado. Parece haver, portanto, tanto uma mudança na localização quanto na dispersão da distribuição.
No caso de uma mudança na localização, o conjunto de alunos como um todo apresentaria uma redução nos escores obtidos nos exames de proficiência. O GRAF. 3 compara os valores dos percentis da distribuição do desempenho em todos os períodos e a TAB. 9
fornece os valores dos decis (os quais serão úteis na interpretação dos resultados da distribuição relativa, no capítulo 4):
GRÁFICO 3 - Percentis da proficiência em matemática, 4ª série do ensino fundamental, Brasil, 1997 a 2005 10 0 15 0 20 0 25 0 30 0 D e s e m p enh o esc o la r 0 20 40 60 80 100 Percentis
Fonte dos dados básicos: INEP, Sistema de Avaliação da Educação Básica (SAEB), 1997, 1999, 2001, 2003 e 2005.
TABELA 9 - Decis da distribuição empírica do desempenho escolar, 4ª série do ensino fundamental, matemática, Brasil, 1997 a 2005
1997 1999 2001 2003 2005 1o 138,99 131,29 123,15 124,87 127,11 2o 153,92 146,10 138,74 141,21 144,38 3o 166,19 157,61 151,64 154,02 158,21 4o 176,12 168,75 163,03 165,71 170,65 5o 187,28 178,68 175,29 177,18 182,39 6o 200,05 189,54 187,18 189,06 195,09 7o 213,03 200,96 201,14 202,52 209,50 8o 228,74 215,86 217,61 218,64 226,56 9o 250,97 237,80 241,31 241,13 250,82 Matemática Pontos de corte nos decis
Fonte dos dados básicos: INEP, Sistema de Avaliação da Educação Básica (SAEB), 1997, 1999, 2001, 2003 e 2005.
Pela análise do GRAF. 3, é possível observar uma redução nos níveis de desempenho em cada percentil (obviamente, também, nos decis, cujos valores estão na TAB. 9) dado pelo deslocamento para baixo da curva dos percentis. Este efeito foi mais intenso nos primeiros centis da distribuição. Em 2005, a distribuição se aproxima da curva de 1997 nos últimos centis da distribuição.
Esta análise nos dá uma idéia de como as curvas se comportaram em termos das mudanças nos níveis de desempenho alcançado pelos alunos ao longo de toda a distribuição. Para conhecermos um pouco da dispersão desses escores, estimamos os coeficientes de variação40 que são apresentados no GRAF. 4:
GRÁFICO 4 - Coeficiente de variação do desempenho escolar por disciplina, 4ª série do ensino fundamental, Brasil, 1997 a 2005
20 22 24 26 28 30 1997 1999 2001 2003 2005 Ciclo do SAEB C o ef ic ien te d e var iação ( e m % )
Fonte dos dados básicos: INEP, Sistema de Avaliação da Educação Básica (SAEB), 1997, 1999, 2001, 2003 e 2005.
É possível notar que o grau de dispersão em matemática apresenta um leve declínio entre 1997 e 1999, elevando-se entre 1999 e 2001 e, em seguida, observa-se uma estabilidade. As estatísticas descritivas apresentadas nesta seção não acrescentam muito ao que já tem sido pesquisado na literatura. Tipicamente, os estudos que procuram analisar as mudanças no desempenho escolar ao longo dos anos focam em medidas-síntese, como a média e a variância, as quais podem deixar de capturar aspectos interessantes inerentes a uma distribuição do atributo em estudo. A proposta do capítulo seguinte é aproveitar a riqueza das informações contidas nos dados produzidos pela série histórica bienal do SAEB e explorar as mudanças ocorridas nos escores através de uma análise comparativa
40
O coeficiente de variação é uma medida da dispersão ou variabilidade dos dados em relação à média. É calculado através da razão entre o desvio-padrão e a média.
interdistribucional, com o uso do método da distribuição relativa. Desta forma, podemos ver, por exemplo, se o declínio do escore médio foi decorrente de uma piora no desempenho apenas dos alunos com menores notas no exame do SAEB ou, também, dos alunos com melhor desempenho acadêmico.