ANLATICI VE BAKIŞ AÇISI

A avaliação da reforma da educação na Inglaterra não é simples, uma vez que não é possível isolar o efeito de cada um dos componentes introduzidos para aferir seus resultados. No entanto, a análise dos resultados alcançados nas avaliações externas é um parâmetro adequado para avaliar a efetividade do conjunto das mudanças introduzidas. As avaliações têm mantido o mesmo nível de dificuldade ano após ano, sendo pouco plausível a ideia de que não são dados confiáveis para a análise da reforma (GLENNERSTER, 2002).

Inicialmente os resultados podem ser classificados como positivos. Baseado nos testes realizados ao longo dos ciclos primário e secundário na Inglaterra há indicações de melhorias substanciais. A primeira evidência dos resultados positivos está no desempenho dos estudantes no KS1, KS2 e KS3, apresentados na Tabela 1, e que mostra o percentual de alunos que alcançaram o nível de desempenho exigido.

Tabela 1: Percentual de alunos que atingiram a meta no Key Stage 1, 2 e 3

Fonte: Brooks e Tough (2006) – até 2005; Departament of Education – 2006 até 2010.

Os resultados mostram os avanços ocorridos na educação quanto ao nível de desempenho dos alunos nos três níveis destacados. O KS4, teste realizado ao final do ensino secundário obrigatório, criado em 1963, também indica uma melhoria significativa. A Tabela 2 identifica o percentual de alunos que alcançaram o nível de desempenho exigido.

1 9 9 5 1 9 9 6 1 9 9 7 1 9 9 8 1 9 9 9 2 0 0 0 2 0 0 1 2 0 0 2 2 0 0 3 2 0 0 4 2 0 0 5 2 0 0 6 2 0 0 7 2 0 0 8 2 0 0 9 2 0 1 0 KS1 R e ading _{78 78 80 80 82 81 84 84 84 85 85 84 84 84 84 85} Writing _{80 79 80 81 83 84 86 86 81 82 82 81 80 80 81 81} Math s _{79 82 84 84 87 90 91 90 90 90 91 90 90 90 89 89} KS2 Englis h _{49 57 63 65 71 75 75 75 75 78 79 79 80 81 80 80} Math s _{45 54 62 58 69 72 71 73 73 74 75 76 77 79 79 79} Scie nce _{70 62 69 69 78 85 87 86 87 86 86 87 85 85 86 85} KS3 Englis h _{55 57 57 65 64 64 65 67 69 71 74 72 74 76 77 79} Math s _{58 57 60 59 62 65 66 67 71 73 74 77 79 79 79 80} Scie nce _{56 57 60 56 55 59 66 67 68 66 70 72 75 76 78 80}

A evolução positiva dos resultados poderia ter sido provocada pelo aumento dos gastos do governo com a educação. Mas a evolução dos gastos públicos na Inglaterra não é uma justificativa adequada para tal suposição, uma vez que o grande crescimento dos gastos com educação entre as décadas de 1960 e 1970 não foi acompanhado por melhoria no desempenho do KS4 (GLENNERSTER, 2007). Esta constatação é coerente com pesquisas que avaliam que o aumento de recursos aplicados na educação não leva necessariamente a ganhos de qualidade na educação (HANUSHEK, 2003). O baixo reflexo do aumento nos investimentos nos resultados do KS4 até 1980 indica que embora tenha ocorrido um pequeno aumento no gasto com educação, entre 1988 e 2001, as modificações introduzidas pela reforma tiveram impacto na melhoria dos níveis de aprendizagem nas avaliações (JOHNSON, 2004).

Tabela 2: Percentual de alunos que atingiram a meta no KS4

ANO % ANO % ANO %

1963 16 1979 24 1995 44 1964 18 ₁₉₈₀ 24 ₁₉₉₆ 45 1965 20 ₁₉₈₁ 25 ₁₉₉₇ 45 1966 20 ₁₉₈₂ 26 ₁₉₉₈ 46 1967 21 ₁₉₈₃ 26 ₁₉₉₉ 48 1968 22 ₁₉₈₄ 27 ₂₀₀₀ 49 1969 22 1985 27 2001 50 1970 23 1986 27 2002 52 1971 23 ₁₉₈₇ 26 ₂₀₀₃ 53 1972 24 ₁₉₈₈ 30 ₂₀₀₄ 54 1973 23 ₁₉₈₉ 33 ₂₀₀₅ 56 1974 23 ₁₉₉₀ 35 ₂₀₀₆ 59 1975 23 1991 37 2007 62 1976 23 1992 38 2008 65 1977 23 1993 41 2009 70 1978 24 ₁₉₉₄ 43 ₂₀₁₀ 75

Fonte: Brooks e Tough (2006) – até 2005; Departament of Education – até 2010.

Uma das expectativas da reforma era melhorar a situação daqueles em desvantagem econômica. Os dados disponíveis na Tabela 3 mostram que os resultados da reforma não se limitaram apenas àqueles mais favorecidos, de forma que tanto os 25% dos alunos de melhor quanto os 25% de pior desempenho apresentaram melhorias significativas de proficiência.

Com relação ao índice de aprovação das reformas, há indicações de que a população é simpática às mudanças introduzidas a partir da década de 1980 (6 PERRY, 2003). No Reino Unido, um dado que indica a aprovação das reformas introduzidas se refere à maior confiança

na educação mostrada pela população no ano de 2000 (66,3%), se comparado com o ano de 1990 (47%) (POLLITT e BOUCKAERT, 2004).

A evolução do desempenho educacional na Inglaterra após a construção de um forte sistema de accountability é consistente com as evidências de uma série de pesquisas sobre os efeitos de reformas similares sobre o nível de proficiência dos alunos. Ao analisarem reformas educacionais semelhantes nos EUA, Carnoy e Loeb (2002) encontraram evidências consistentes de que sistemas de accountability fortes, caracterizados pela imposição de consequências a escolas e professores, tinham efeitos positivos sobre o desempenho nas avaliações externas. Hanushek e Raymond (2006), do mesmo modo, encontraram evidências de que sistemas de accountability que impunham consequências aos resultados através de prêmios ou sanções proporcionavam melhorias significativas em termos de aprendizagem. Os autores também encontraram evidências de que sistemas educacionais que apenas publicavam os resultados das avaliações não apresentavam melhoras em relação àqueles que não tinham qualquer programa de accountability.

Tabela 3: Evolução da pontuação dos alunos

1995 1997 1998 1999 2000 English 75t h _{percentile 65 78 80 84 88} Median 50 67 67 73 78 25t h _{percentile 35 52 52 61 64} Maths 75t h _{percentile 63 78 75 83 85} Median 47 65 61 72 74 25t h _{percentile 31 50 44 59 60} Science 75t h _{percentile 88 86 85 92 96} Median 76 73 73 83 88 25t h _{percentile 60 58 57 71 77} Fonte: Glennerster (2001).

O debate em relação aos vários componentes da reforma não é, todavia, tão conclusivo quanto à melhoria dos indicadores de aprendizagem aparentam. Entre as críticas observadas estão: a) a possível associação entre melhoria de desempenho nas avaliações e a redução do currículo; b) a possível associação entre melhoria de desempenho nas avaliações e incremento da prática do teaching to the test; c) os problemas decorrentes do sistema de avaliação; d) os possíveis efeitos negativos da descentralização financeira e administrativa (LMS) e dos novos

valores da gerência escolar; e) os possíveis efeitos negativos da publicação das performance league tables; f) o possível impacto segregacionista decorrente da introdução da competição administrada (BURGESS, 2004); g) o possível êxodo de profissionais daquelas escolas de pior desempenho, o que pode representar um obstáculo para que escolas de baixo desempenho atraiam professores (LADD, 2000); e h) os possíveis efeitos negativos da introdução de um sistema seletivo de progressão na carreira.

As políticas de materialização de currículos oficiais sempre repercutem na mídia e ganham notoriedade pública. O caso da Inglaterra não fugiu à regra. O anúncio do currículo nacional, em 1988, foi cercado de controvérsias até mesmo dentro do governo conservador. A fim de reduzir a oposição política, docente e acadêmica, o então Secretário da Educação e Ciência, Kenneth Baker, optou por um currículo amplo que incluía os interesses e visões de variados grupos. Este problema foi potencializado tão logo o governo iniciou a montagem das avaliações externas. Os governos conservadores e trabalhistas, a fim de contornar os problemas associados à sobrecarga curricular, introduziram mudanças com o objetivo de reduzir os conteúdos inicialmente previstos nos parâmetros curriculares. Mas esta mudança trazia à tona uma polêmica: a transformação da ideia inicial de currículo básico em currículo mínimo, denominação pejorativa associada aos potenciais efeitos negativos da redução das expectativas de aprendizagem na educação. Este enxugamento curricular, criticado por alas dos principais partidos ingleses e por vários acadêmicos, levantava a hipótese de que a melhoria no desempenho escolar poderia estar associada, ao menos em parte, à redução curricular (STOBART, 2009).

Outra possível associação citada pelos críticos das reformas gerenciais na educação é o aumento da intensidade do ensino voltado para preparar os estudantes para as avaliações externas e a melhoria nos indicadores de aprendizagem. O fundamento desta crítica está no fato de que os testes padronizados de larga escala encontram limites quanto à avaliação de determinadas competências (NEWTON, 2009). Os exemplos mais citados de lacunas nestas avaliações se referem às competências de escrita, dados as dificuldades de correção em larga escala de questões dissertativas, e às competências auditivas e comunicativas, incapazes de serem aferidas por meio de questões escritas. Estas limitações acabam gerando incentivos perversos para uma ênfase maior naqueles conteúdos e competências que podem ser aferidos por avaliações de larga escala. Este efeito, popularmente conhecido como teaching to the test, é bastante polêmico na medida em que levanta a questão de que a melhoria de desempenho

observada nas avaliações externas não necessariamente significaria ganhos reais de aprendizagem.

Os sistemas de avaliação externa também não são imunes a falhas e distorções. Kane e Staiger (2002), numa análise dos sistemas de accountability nos EUA, afirmam que as escolas, em razão da pressão crescente por resultados, têm incorrido em ações de manipulação da relação de alunos que fazem as provas, barrando aqueles de pior desempenho (gaming incentives) a fim de inflar seus resultados. Estes escândalos, ao receberem grande repercussão da mídia, acabam reduzindo a confiabilidade dos resultados e, consequentemente, a legitimidade da política. Outro problema identificado é a maior probabilidade de distorção nos resultados da avaliação externa em escolas de pequeno porte. Segundo os autores, os resultados das escolas de pequeno porte têm seis vezes mais chances de decorrerem de uma variável que está fora do controle da escola do que em uma escola de grande porte.

A descentralização administrativa e financeira da gestão escolar e os novos valores propagados pelos reformistas ingleses também recebem críticas. Enquanto alguns têm alegado que a descentralização tem desviado o enfoque das escolas das questões pedagógicas (WALLACE e POULSON, 2006) e outros destacam que a descentralização dificulta a fiscalização dos recursos (SMITH, 2003), autores ligados à tradição deliberativa alegam que a ênfase dada a valores do setor privado acaba entrando em conflito com práticas democráticas de gerenciamento e favorece um estilo autocrático de gestão por parte do diretor escolar.

O debate acerca dos possíveis efeitos negativos da publicação de indicadores de desempenho e das performance league tables é um dos pontos polêmicos da reforma gerencial. Wilson et al (2004) afirmam que, dependendo da metodologia adotada (valores absoluto ou agregado), a composição dos rankings acaba sendo muito distinta. Através de uma pesquisa com diversos professores do nível secundário, eles concluem que é positiva a substituição de indicadores de valor absoluto por outros de valor agregado. Eles argumentam, no entanto, que embora haja a publicação dos indicadores de valor agregado, eles têm influenciado apenas marginalmente nas estratégias e comportamento das escolas, uma vez que o apelo das medidas absolutas continua a ser o principal combustível no debate sobre a qualidade da educação.

A publicação de indicadores de desempenho, independente da metodologia utilizada, também é fruto de um intenso debate. A polêmica em relação ao tema culminou, inclusive, na

diferenciação na política de publicação de indicadores entre Inglaterra e País de Gales. Enquanto a Inglaterra mantém, até hoje, a publicidade acerca destes indicadores, o País de Gales a extinguiu em 2001. Os principais motivos para extinção da publicação dos indicadores eram a oposição da classe docente e o possível caráter segregacionista desta publicidade (BURGESS et al, 2010). Utilizando-se das comparações possibilitadas por este experimento natural, Burgess et al (2010) “(...) find systematic, significant and robust evidence that abolishing school league tables markedly reduced school effectiveness in

Wales.” (p.2). Os mesmos autores avaliaram que a redução da efetividade escolar no País de

Gales foi maior nas escolas de desempenho mais baixo. A esperada redução da segregação também não foi verificada. Ou seja, a pesquisa não encontrou evidência “(...) that the policy

change has had a significant impact on either sorting by ability or by socioeconomic status”

(BURGESS et al, 2010, p. 22). Os autores, então, concluem:

Our results suggest that school accountability policies hold promise for raising school performance, particularly for students in disadvantaged schools and neighbourhoods. If uniform national test results exist, publishing these in a locally comparative format appears to be an extremely cost-effective policy for raising attainment and reducing inequalities in attainment (BURGESS et al, 2010, p. 22). O ponto mais polêmico da reforma foi a introdução da competição administrada. Vários estudos foram realizados para avaliar os efeitos deste componente na qualidade da educação. Bradley e Taylor (2002), por exemplo, realizaram uma pesquisa buscando estimar os impactos da competição administrada no desempenho escolar e na segregação do ciclo educacional secundário na Inglaterra. Analisando os efeitos da competição administrada sobre o desempenho escolar, Bradley e Taylor destacaram que a concorrência entre unidades escolares produz pressões que melhoram o desempenho das escolas nos exames compulsórios. Já os efeitos da competição administrada sobre a equidade receberam duas menções. A primeira é de que as escolas de maior desempenho experimentaram uma redução na proporção de alunos vindos de famílias mais pobres. A segunda é que existem indícios de que o efeito segregativo seria maior em áreas metropolitanas. Confrontando os efeitos positivos sobre o desempenho escolar e os efeitos negativos em termos de segregação social, Bradley e Taylor alegam que os primeiros são maiores em magnitude do que os segundos, de

forma que “(...) on balance the quasi-market has been beneficial” (BRADLEY e TAYLOR,

2002, p. 312). Levacic (2004), utilizando-se de uma metodologia diferente, também encontrou evidências consistentes de que a competição administrada tem produzido ganhos significativos de aprendizagem.

Também com relação à introdução da competição administrada na Inglaterra, vale ressaltar a possibilidade de seleção manipulada de alunos (cream-skimming) (WEST, 2006; WEST e INGRAM, 2001; LE GRAND, 2003) e o fluxo adverso de professores em direção às escolas de melhor desempenho (LADD, 2000).

Vários autores também sugerem que a competição administrada pode ampliar a segregação na educação em razão das práticas de cream-skimming. Na medida em que existe a possibilidade de as escolas de melhor desempenho virem a utilizar mecanismos de seleção baseadas no mérito, pode ocorrer um aumento na desigualdade entre escolas de melhor e pior desempenho. O temor é de que aquelas escolas responsáveis pelo seu próprio processo de

admissão de novos alunos “(...) are more likely than others to act in their own self interest by selecting in or creaming particular pupils and selecting out others” (WEST, 2006, p. 28). A

sugestão da autora seria submeter todas as escolas a órgãos responsáveis por controlar o processo de matrícula nas escolas públicas, impedindo práticas de seleção de alunos por habilidades. Este controle permitiria o funcionamento de “(...) a moderated system of parental

choice, where choice is tempered by social justice and equity considerations” (WEST, 2006,

p. 29). Outra solução seria a adoção do Positively Discriminating Voucher (PDV) (LE GRAND, 2003), mecanismo de alocação de recursos às escolas que busca injetar fundos adicionais para escolas com percentual mais alto de alunos de famílias pobres. Assim, escolas com maior proporção de alunos oriundos destas famílias receberiam recursos extras que poderiam ser utilizados para investir, por exemplo, na contratação de staff especializado.

Além da seleção manipulada de alunos, Ladd (2000) também destaca o risco fluxo adverso de professores em direção às escolas localizadas em regiões mais favorecidas. Na medida em que a política salarial pública docente na Inglaterra impede que haja diferenciações salariais entre escolas, e que existem escolas de melhor e pior desempenho, os profissionais da educação geralmente preferem trabalhar nas primeiras, o que pode representar um obstáculo para que unidades de baixo desempenho atraiam professores. Segundo a autora, este problema demanda uma política de incentivos que busque criar formas de atração e manutenção de professores em escolas localizadas em regiões mais pobres.

A introdução de sistemas de progressão por mérito para docentes também recebe muitas críticas das entidades de classe e de parte da academia. Em uma pesquisa realizada pelo sindicato dos professores no Reino Unido em 2000, mais de 88% dos professores se mostraram contrários ao modelo de PRP adotado na Inglaterra. Segundo as entidades

sindicais docentes, os efeitos negativos do PRP seriam o aumento do stress, da insatisfação, do afastamento, do adiantamento da aposentadoria e do abandono da carreira. Embora venha ocorrendo um aumento contínuo na aceitação docente do sistema desde a sua introdução, a maior parte dos professores e uma parte significativa de diretores escolares ainda têm uma postura crítica em relação ao PRP (MARSDEN e BELFIELD, 2006).

Apesar das críticas, dois estudos empíricos realizados a fim de aferir os efeitos da introdução da progressão por mérito na carreira docente na melhoria da aprendizagem dos estudantes identificaram efeitos positivos do novo sistema. Atkinson et al (2003) analisaram o grau de efetividade do PRP em relação ao progresso dos alunos entre as avaliações compulsórias realizadas aos 14 (KS3) e 16 (GCSE) anos. A medida do progresso do aluno considerada era a evolução agregada da nota dos alunos entre as duas avaliações e a nota absoluta no KS3 e no GCSE. As conclusões do estudo são que: a) o sistema de PRP tem reflexos positivos sobre o esforço dos professores e, consequentemente, sobre o desempenho dos alunos; e b) os professores respondem aos incentivos financeiros diretos. Eles concluem afirmando que os:

(...) teachers do respond to direct financial incentives. In an incentive scheme strongly based on pupil progress, test scores improved. Whether this represented extra-effort or effort diverted from other professional activities is not something we can determine in our dataset. But our results suggest that teacher-based performance pay is a policy tool that education authorities should consider as part of their drive to raise educational performance (ATKINSON et al, 2003, p. 32).

Utilizando-se de uma metodologia diferente para analisar os efeitos do PRP, David Marsden e Richard Belfield (2006) também encontraram evidências positivas robustas de uma evolução maior da aprendizagem em escolas nas quais os diretores escolares eram favoráveis ao sistema de progressão por mérito na carreira docente.

3. A ESTRUTURA DE ANÁLISE DO PROCESSO DE IMPLEMENTAÇÃO