Profil

Nas últimas duas décadas no Brasil, a implementação de sistemas avaliativos de larga escala possibilitou uma grande difusão de estudos empíricos educacionais. Isto é, a introdução, na década de 90, do Sistema Nacional de Avaliação da Educação Básica (SAEB) e, posteriormente, a implementação de sistemas estaduais de avaliação de educação básica32, serviram de instrumentos para o desenvolvimento de uma literatura na área de economia recente sobre os determinantes da qualidade da educação no país.

Nesse sentido, pode se destacar três grandes linhas de estudos que estão sendo desenvolvidas: (a) pesquisas que utilizam como ferramenta os modelos hierárquicos (ou multiníveis) com a finalidade de analisar, em grande parte, os determinantes do desempenho escolar, expressos pela proficiência dos alunos; (b) os estudos que focalizam algum aspecto da qualidade da educação, traduzido em um indicador específico de qualidade, com as mais variadas técnicas de estimação; (c) os estudos específicos de avaliação de impacto de programas educacionais.

Conforme esta classificação, a primeira linha de pesquisa na área da economia da educação utiliza os modelos hierárquicos (multiníveis) para investigar os fatores determinantes da qualidade da educação, expressa pelo desempenho escolar dos estudantes. Segundo Natis (2001), a criação desses modelos foi motivada, pela própria estrutura de dados. Isto é, os dados relacionados à educação possuem uma estrutura de agrupamentos em função das próprias características de suas observações: os alunos estão sempre agrupados em turmas, as turmas em escolas e essas, por sua vez, estão agrupadas nos municípios. Dessa forma, os modelos hierárquicos (multiníveis) têm a capacidade de incorporar essa estrutura hierárquica que existe naturalmente nos dados de educação.

Várias são as vantagens apontadas pela literatura para a utilização dos modelos hierárquicos (multiníveis) em relação ao modelo clássico de regressão. Soares e Mendonça (2003) destacam que esse método de estimação baseia-se em modelos mais flexíveis e que utilizam melhor a informação presente na amostra. Além disso, o modelo hierárquico

32 _{Destacam-se os sistemas de avaliação dos estados de São Paulo, Minas Gerais, Pernambuco e Rio Grande do} Sul.

40 (multinível) fornece uma equação para cada escola, permitindo análises individuais. Ressalta- se também que o uso das informações pelos dados agrupados possibilita formular e testar hipóteses relativas a efeitos de interação entre elementos dos diferentes níveis e também permite a realização de análises quanto à partição da variabilidade da variável resposta para os diversos níveis (SOARES; MENDONÇA, 2003).

Quanto aos resultados dos estudos empíricos com o uso de modelos hierárquicos (quadro 7, em anexo), observa-se que as bases de dados mais utilizadas são as do Sistema de Avaliação da Educação Básica- SAEB e as dos sistemas estaduais de avaliação dos estados de São Paulo e de Minas Gerais.33 Entre os mais variados aspectos, destacam-se os fatores socioeconômicos dos alunos e a escolaridade dos pais como determinantes ao desempenho escolar nas proficiências em português e matemática. Entre os principais os fatores negativos que influenciam o desempenho estão a defasagem idade-série, o abandono e alunos do sexo masculino. (SOARES; MENDONÇA, 2003, FERRÃO; BELTRÃO; SANTOS, 2002 e 2003, ALBERNAZ; FERREIRA; FRANCO, 2003, SOARES, 2003, DE JESUS e LAROS 2004, SOARES, 2005, GONÇALVES; RIOS-NETO; CÉSAR, 2011).

Além dos modelos hierárquicos (multiníveis), uma segunda linha de pesquisa foi desenvolvida a partir das mais variadas técnicas e questões a serem respondidas sobre os determinantes da qualidade da educação (quadro 8, em anexo). Essas pesquisas se concentram que algum aspecto da qualidade da educação expressa geralmente em termos de um indicador de qualidade.

Ainda sobre a investigação dos determinantes de desempenho escolar, alguns estudos dessa segunda linha de pesquisa mostram que, além dos fatores socioeconômicos identificados nos modelos hierárquicos (multiníveis), outros aspectos relacionados à escola também possuem impacto sobre a proficiência dos alunos. Esse é o caso do efeito positivo da ausência de alta rotatividade dos professores ao longo do ano, da experiência média dos professores superior a dois anos em sala de aula e da existência, na escola, de conexão com a internet (BIONDI; FELÍCIO, 2007). Por outro lado, os estudos demonstram o efeito negativo

33

Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo - SARESP e Sistema Mineiro de Avaliação da Educação Pública/ Programa de Avaliação da Rede Pública de Educação Básica de Minas Gerais- SIMAVE/PROEB.

41 da formação heterogênea da turma e da alta rotatividade dos professores, este último aspecto semelhante como no estudo anterior (MENEZES; SOARES, 2010).

Além disso, destacam-se também pesquisas que avaliam o efeito positivo do número de horas-aula sobre o desempenho escolar, verificado nos trabalhos de Menezes-Filho (2007), Oliveira (2008 e 2010) e Menezes e Soares (2010). Entretanto, Franco (2009) só encontrou o efeito positivo da ampliação de mais de 5 horas diária de aula para a rede privada de ensino. Há também um estudo que encontrou influência positiva da educação infantil (FELÍCIO; VASCONCELLOS, 2007) sobre desempenho escolar e outros que não encontraram significância estatística do gasto público em educação sobre desempenho escolar (AMARAL; MENEZES-FILHO, 2008 e FIGUEIREDO; HADDAD; FREGUGLIA,2011)

Cabe mencionar também outros aspectos qualitativos que essas pesquisas tentam responder além da proficiência dos alunos. Alguns estudos investigam, por exemplo, os diferenciais de qualidade existentes entre a rede pública e privada (FRANCO, 2009, CURI; MENEZES-FILHO , 2010 e COSTA et al. 2011) e também um estudo que avalia o impacto da carência nutricional sobre a defasagem idade-série do aluno (GOMES e MAGALHÃES, 2011). Destacam-se que estes estudos empíricos utilizam as mais variadas técnicas para estimação, que vão desde procedimentos estatísticos de regressão linear até as técnicas de análise de escolha discreta, dados em painel, além de técnicas de avaliação de impacto, como pareamento.

Por fim, em uma terceira linha de pesquisa, estão os trabalhos de avaliação de impacto de programas de educação. Ressalta-se, conforme comentado anteriormente, que, embora bastante incipiente, essa área de pesquisa começa a ganhar destaque na literatura nacional. As avaliações vão desde projetos-pilotos de prefeituras, como a abertura de escolas nos finais de semana, até programas e políticas de grande vulto, como a Olimpíada de Matemática, a municipalização de escolas, a educação de Jovens e Adultos e até a própria política de educação integral, como se observa no Quadro 2.

42

Quadro 2: Revisão da literatura – Avaliação de programas e políticas de educação

REFERÊNCIA BASE DE DADOS TIPO DE

ESTIMAÇÃO ADMIST./REGIÃO SÉRIE

VARIÁVEL DE RESULTADO

VARIÁVEIS DE CAUSA/ IMPACTO

D’atri (2007) Censo Escolar de 1998 e

2004 Diferenças em _diferenças Pública municipal e _{estadual / Brasil} EF Desempenho escolar (medido por taxas de aprovação, reprovação, abandono e a distorção idade-série) Positivo: política de municipalização (obs.: magnitude pequena) Loureiro et al. (2008) PNADs¹ de 2002 a 2006 Variáveis Instrumentais Pessoas que responderam ao PNAD

- Condição de saber ler e escrever Positivo: participação em cursos de Educação de Jovens e Adultos Cedeplar e Fundação Itaú (2008) Pesquisa de Campo em

2007 Regressão; grupo de controle

Pública municipal /Belo Horizonte-MG

- Indicadores educacionais e culturais; indicadores gerais de bem-estar;

socialização e convivência; alocação do tempo da criança e de seu responsável

Positivo: participação no programa Escola Integrada (obs.: impactos positivos do programa em quase todas as dimensões analisadas) Biondi, Vasconcellos e Menezes-Filho, 2009 Prova Brasil de 2005 e 2007; Censo Escolar de 2007 e IBGE² PSM e Mínimos quadrados ponderados (MQP) pelo propensity score

Pública/ Brasil 8ª série Proficiência em matemática Positivo: participação no programa Olimpíada Brasileira de Matemática das Escolas Públicas (OBMEP) Vasconcellos, Biondi e Menezes- Filho (2009) Prova Brasil de 2005 e 2007; Censo Escolar de 2006; Censo Populacional (2000) e Cadastro do programa PSM e Diferenças em Diferenças

Pública/ Brasil 4ª série Proficiência em português Positivo: participação no programa Escrevendo o Futuro

Duenhas, França e Gonçalves (2010)

Censo Escolar e Prova Brasil de 2007 PSM MQP ponderado pelo propensity Score Pública municipal /Curitiba-PR 4ª e 8ª séries

Percepção do diretor sobre diversas formas de violência: a) diversas violências internas; b) diversas violências externas Participação no programa Comunidade Escola; Impacto do programa: positivo para b e negativo para a

43

Silva (2010) Sistema de avaliação / Instituto Itaú Mínimos Quadrados Ordinário (MQO) Pública estadual/ RS e MG Proficiência em matemática e português Positivo: participação no programa Projeto Jovem de Futuro

França e Duenhas (2011)

Censo Escolar e Prova Brasil de 2005 e 2007 Diferenças em Diferenças Pública municipal /Curitiba-PR 4ª e 8ª séries Proficiência em matemática e português Programa: Comunidade Escola. Impacto do programa: Negativo e não sig. para a e negativo e sig. para b

Aquino e Kassouf (2011)

SARESP³ de 2007 e 2008

Modelo de efeito fixo e PSM

Pública estadual / SP 8ª série Proficiência em matemática e português

Participação no programa Escola de Tempo Integral; Desempenho em

matemática (não significativo);

Positivo: desempenho em português (obs.: magnitude pequena)

Notas: 1. PNAD - Pesquisa Nacional por Amostragem de Domicílio; 2. IBGE - Instituto Brasileiro de Geografia e Estatística; 3. SARESP -Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo.

44 Verifica-se, conforme os dados do Quadro 2, que as pesquisas de avaliação de impacto utilizam, em grande medida, as técnicas de diferenças em diferenças e PSM. Um dos aspectos mais importante em alguns estudos é a identificação de impacto negativo ou estatisticamente não significativo de alguns programas (D’ATRI, 2007; DUENHAS; FRANÇA; GONÇALVES, 2010; FRANÇA; DUENHAS, 2011; AQUINO; KASSOUF, 2011). A constatação de que o programa não gerou impacto sobre a variável de interesse está condizente com a função da avaliação de impacto, que é a produção da informação para subsidiar a tomada de decisão dos gestores públicos.

Em relação aos programas de educação integral, um estudo do CEDEPLAR em parceria com a Fundação Itaú (CEDEPLAR; FUNDAÇÃO ITAÚ, 2008) encontrou um impacto positivo do programa Escola Integrada de Belo Horizonte/MG em quase todas as dimensões analisadas. Contudo, Aquino e Kassouf (2011) analisaram o programa Escola de Tempo Integral do estado de São Paulo. Para os anos analisados (2007 e 2008), o programa não impactou o desempenho em matemática (não significativo estatisticamente). Já para o desempenho em português, o programa teve impacto, porém de magnitude muito pequena.

Em síntese, buscou-se com a revisão da literatura a identificação e a conceituação das diferentes técnicas de avaliação de programas e políticas. Dentre as mencionados, estão a avaliação de impacto, ou avaliação de efetividade objetiva, que foi utilizada para avaliação do “Programa Mais Educação” nessa dissertação. A avaliação de impacto apresenta um crescente desenvolvimento nos últimos 35 anos, tendo o seu inicio deflagrado com as avaliações de programas de treinamento nos Estados Unidos. Por fim, buscou-se também apresentar os resultados dos principais trabalhos empíricos desenvolvidos no país sobre os determinantes da qualidade da educação. Entre as três linhas de pesquisa apresentadas, estão os trabalhos de avaliação de políticas e programas educacionais, que embora incipientes no Brasil, começam se multiplicar.

A seguir, no próximo capítulo, apresenta-se a metodologia utilizada para a avaliação do impacto do “Programa Mais Educação” sobre o desempenho escolar dos estudantes do Rio Grande do Sul. Descrevem-se informações sobre o banco de dados, as variáveis e os procedimentos utilizados na pesquisa.

45