Gaziantep Ġlinde GerçekleĢtirilen Nitel Saha ÇalıĢmanın Bulguları

A pesquisa iluminadora foi lançada em 1972 por Malcolm Parlett, então professor assistente na University of Edinburgh, Escócia, em colaboração com à época aluno de doutorado David Hamilton, como um estudo ocasional do Departamento de Ciências Educacionais sob o título de Avaliação como iluminação: uma nova abordagem no estudo de programas inovadores. O ensaio teve imediata e ampla aceitação sendo republicado 11 vezes entre 1976 e 1988 (Hamilton, 2005). No Brasil, esse texto foi publicado integralmente em uma coletânea organizada por Rosemary Messiak et al. (1980) e a avaliação iluminadora é apresentada como uma avaliação do tipo responsiva em um livro que trata de modelos de avaliação educacional (Vianna, 2000), entre outras referências similares69_.

O estudo se inicia com a explicitação da relação entre avaliação e inovação para localizar a avaliação de programa como um novo campo de investigação e as dificuldades que enfrenta em termos teóricos e metodológicos. Em seguida, os autores identificam dois paradigmas nas pesquisas educacionais que são usados na avaliação de programas: o botânico-agrícola ou tradicional e o socioantropológico. O primeiro que, pode ser identificado, grosso modo, com uma perspectiva positivista e a avaliação de resultados, baseia-se na realização de pré-testes, a realização do programa como um

69 _{Veja-se, como exemplo, a tradução feita do inglês do livro de Worthen, Sanders e Fitzpatrick (2004)} sobre avaliação de programas em que a avaliação iluminadora também é citada. Observe-se que a expressão em língua inglesa é “illuminative evaluation”, que também poderia ser traduzida para o português como avaliação iluminativa. Essa opção se apresenta para nós como mais próxima do original, além de manter o sentido metafórico de trabalho minucioso que reverbera da palavra iluminura. Todavia, dada a anterioridade e o tempo em que a expressão está registrada entre nós, decidimos adotar a tradução já estabelecida de avaliação iluminadora.

experimento, e testes posteriores para se verificar se o programa obteve sucesso. O segundo, claramente identificado com as abordagens qualitativas, é onde a avaliação iluminadora se localiza e para o qual serve de exemplo.

Dessa forma, a avaliação iluminadora, ao contrário dos modelos do paradigma botânico-agrícola, caracteriza-se por se preocupar mais com a descrição e a interpretação do programa do que com a medição de seus resultados. Seus objetivos são verificar como um programa inovador funciona, como o contexto interfere em sua realização, qual a perspectiva de seus executores sobre o sucesso do programa e como os participantes vivenciam a experiência. Para tanto busca identificar e documentar as diferentes percepções dos envolvidos e caracterizar e debater em que consiste a inovação no programa.

Para atingir tais objetivos, a avaliação iluminadora lança mão de dois conceitos básicos: o sistema instrucional e o ambiente de aprendizagem. O sistema instrucional é constituído pelos documentos oficiais, tais como currículos, regimentos, orientações metodológicas, editais, e outros textos que informam sobre o funcionamento do programa. Aqui há duas particularidades caracterizadoras da proposta metodológica: a) primeiro que os autores incluem no sistema instrucional não apenas os documentos oficiais, mas tudo o que pode ser inserido em uma ‘descrição catalográfica’ do programa, por mais diversos que sejam esses itens, compreendendo que se trata de “uma especificação idealizada do esquema: um conjunto de elementos organizados em um plano coerente” (Parlett e Hamilton, 1972, p. 10); b) segundo que, ao contrário da avaliação tradicional, o sistema instrucional não é considerado como um conjunto de dados fixos que devem ser comprovados pela avaliação, antes se considera que ele é continuamente interpretado e reinterpretado por todos aqueles que vivenciam o programa, pois como afirmam os autores, “na prática, objetivos são comumente reordenados, redefinidos, abandonados ou esquecidos. A formulação ‘ideal’ original deixa de se acurada, ou, de fato, de grande relevância” (idem, p. 11).

Daí a importância do segundo conceito, o ambiente de aprendizagem, que é tanto o espaço material quanto o ambiente sociopsicológico em que o programa é desenvolvido. Naturalmente, esse espaço simultaneamente concreto e simbólico é constituído por diversos elementos de ordem material, cultural, social, institucional e psicológica que “interagem de modo complexo para produzir, em cada aula ou curso, um padrão único de circunstâncias, pressões, hábitos, opiniões e estilos de trabalho que impregnam o processo de ensino e aprendizagem que ocorre nesse ambiente” (Parlett e

Hamilton, 1972, p. 11). Analisar esse ambiente em sua complexidade e unicidade é essencial porque, como argumentam os autores, ele é parte constituidora do programa inovador ou de qualquer programa educacional. Além disso, as inovações introduzidas nos programas só podem ser analisadas concretamente em suas repercussões no ambiente de aprendizagem, assim como seus efeitos dificilmente se restringem aos aspectos previamente selecionados. Outro ponto relevante é a relação entre as transformações ocorridas no ambiente de aprendizagem e a vivência intelectual dos alunos, uma vez que, nas palavras dos autores, “o conceito de ambiente de aprendizagem é necessário para analisar a interdependência de ensino e aprendizagem, assim como para relacionar a organização e as práticas de ensino com as respostas imediatas e de longo prazo dos estudantes” (idem, p. 14). Com isso, deve-se verificar, como questões organizacionais e administrativas, aparentemente desligadas das questões do ensino, atuam sobre o funcionamento pedagógico do programa e influenciam o processo de aprendizagem.

Em relação aos procedimentos metodológicos, os autores destacam que “a avaliação iluminadora não é um pacote metodológico padrão, mas uma estratégia geral de pesquisa” (Parlett e Hamilton, 1972, p. 15). Nesse sentido, a abordagem oferecida pela avaliação iluminadora permite que as técnicas e procedimentos sejam adaptados às características do programa a ser avaliado ou selecionados a partir do problema que se deseja analisar em relação ao programa, e não prévia e rigidamente fixados. Há, entretanto, caminhos a serem percorridos que são próprios dessa ‘estratégia de pesquisa’. O mais básico deles é a familiaridade com o ambiente de aprendizagem em termos similares às observações antropológicas, ou seja, o contato direto e livre de prescrições do pesquisador-avaliador com as pessoas e o ambiente do programa para que possa compreender e surpreender suas peculiaridades. Dessa forma, “uma vez que a avaliação iluminadora se concentra em examinar a inovação como parte integrante do ambiente de aprendizagem, há uma ênfase determinante tanto sobre a observação da sala de aula como sobre as entrevistas com os professores e alunos participantes” (idem, p. 16).

Além disso, há uma sequência de passos ou estágios caracterizadores da avaliação iluminadora, começando com o pesquisador observando o ambiente de aprendizagem; depois selecionando os elementos mais relevantes e questionando suas razões; e, por fim, elaborando explicações, explanações e princípios gerais para o que foi observado. Esses estágios, apesar de sequenciados temporalmente, não precisam ser

distanciados um do outro e podem convergir ou serem retomados em sucessivas análises do problema de pesquisa, permitindo que se adote um “foco progressivo” pelo qual os dados são progressivamente selecionados e analisados de forma mais aprofundada em suas características mais relevantes.

Dentro desses estágios, os autores explicitam o emprego das seguintes práticas de coleta de dados: observação, entrevistas, questionários e testes, e fontes documentais e de segundo plano. A observação, que é fundamental na avaliação iluminadora, não deve se restringir ao espaço imediato de aprendizagem, mas também contemplar outros espaços que sejam significativos para o programa. Além do mais, deve-se levar em consideração tanto os acontecimentos relativos ao programa, quanto a forma como esses acontecimentos se desenrolam, pois um olhar que integra diferentes dimensões consegue captar melhor as nuances do fenômeno. As entrevistas podem assumir diferentes formatos na busca de se revelar a perspectiva dos participantes, que devem ser selecionados segundo critérios randômicos ou por amostragem teórica. Dessa forma, nas palavras dos autores, “enquanto entrevistas breves e estruturadas são convenientes para a obtenção de informações biográficas, históricas e factuais; as entrevistas formais mais abertas e discursivas são adequadas para tópicos menos diretos” (Parlett e Hamilton, 1972, p. 20). Pouco favoráveis aos questionários e testes, os autores defendem que devem ser usados preferencialmente em pesquisas de larga escala e como complementos ou associados a outras práticas. Também devem conter questões abertas para que dados inesperados possam ser coletados. Por fim, as fontes documentais e de segundo plano, que são tão variadas como atas de reuniões e trabalhos feitos pelos alunos, podem fornecer ao pesquisador informações sobre os antecedentes da inovação e ajudar a mapear áreas de interesse para o estudo que podem não ser detectadas em outras práticas.

A adoção da avaliação iluminadora não se faz sem questionamentos. Os autores se adiantam e apontam as objeções que podem surgir em relação à subjetividade da abordagem, ao poder discricionário do avaliador em decidir o que é relevante para a análise e à perturbação dos participantes com a presença do pesquisador. Nesses casos, para além da discussão sobre o lugar da subjetividade nas pesquisas de perspectiva qualitativa, Parlett e Hamilton aconselham o uso de instrumentos variados de medição dos dados, assim como uma explicitação dos procedimentos e técnicas usadas na coleta de dados, além da obediência a parâmetros éticos na condução do estudo. Um exemplo dado pelos autores é que:

Para garantir a viabilidade e integridade de sua posição de pesquisa e a confiança dos participantes do programa, o investigador precisa, desde o início, deixar claro o seu papel, revelar os objetivos de seu estudo e assegurar-se que não há ambiguidade ou mau entendimento sobre quem, por exemplo, receberá o relatório. (Parlett e Hamilton, 1972, p. 26-27).

Outra objeção relevante é sobre o escopo da pesquisa, tanto no que tange às possibilidades de generalização a partir da análise em profundidade de um ambiente de aprendizagem, quanto à aplicação da estratégia em programas mais amplos. A posição dos autores é que se não há como negar a particularidade das conclusões, nem por isso elas perdem a possibilidade de serem contempladas em ambientes similares, até porque “ambientes de aprendizagens, a despeito de sua diversidade, compartilham muitas características” (Parlett e Hamilton, 1972, p. 28). Além disso, a avaliação iluminadora pode auxiliar a construção de descrições mais acuradas dos fenômenos, desenvolver terminologias e contribuir para a elaboração de teorias. Do mesmo modo, pode haver sinergia entre o trabalho feito em uma escala menor e a ampliação de seus achados para um conjunto maior de programas através da combinação de práticas e instrumentos.

Finalmente, há a questão da tomada de decisão que é a principal razão para que as avaliações sejam feitas. No caso da avaliação iluminadora, entretanto, a preocupação não é com a tomada de decisão, mas sim com a obtenção de informações porque o seu objetivo consiste em “prover um entendimento aprofundado da realidade (ou realidades) complexa que cerca o programa: em síntese, iluminar” (Parlett e Hamilton, 1972, p. 30). A despeito de seu sucesso em muitas frentes70_{, a avaliação iluminadora enfrenta}

algumas restrições. Stenhouse (1979), por exemplo, chama a atenção para a necessidade de manutenção dos padrões de cientificidade e convenções acadêmicas nas pesquisas que adotam a avaliação iluminadora. Para o autor, os pesquisadores dessa estratégia metodológica na educação devem se preocupar, entre outros aspectos, com a apresentação consistente e verificável dos dados utilizados em seus estudos em uma relação similar ou correspondente ao que já é encontrado em outras áreas. Um exemplo é a história que recorre ao uso de fontes documentais e as apresenta publicamente para verificação em notas de rodapé. Da mesma forma, os pesquisadores da avaliação

70 _{De acordo com Sloan e Watson (2001), a estratégia da avaliação iluminadora tem sido usada em vários} campos, tais como avaliação de currículos, ensino a distância, projetos de desenvolvimento agrícola, treinamento em administração, assistência social e na saúde pública, especialmente em relação à enfermagem. Não julgamos necessário apresentar aqui uma leitura desses vários estudos, assim como das modificações que a estratégia naturalmente recebeu ao longo do tempo, porque a estamos usando a partir do texto original e acreditamos que suas orientações metodológicas são suficientemente claras e atendem adequadamente aos nossos propósitos de pesquisa.

iluminadora deveriam apresentar suas notas de campo e demais dados utilizados para que fossem verificados de alguma forma (o autor sugere a criação de um arquivo nacional para guardar esses dados), assim como deveriam se apoiar em estudos anteriores para adquirir consistência por meio da acumulação. Outra restrição é feita por Stronach (1997 apud Rensburg, 2007) para quem a avaliação iluminadora, por ter sido construída a partir de uma dicotomia entre a abordagem quantitativa e qualitativa, favorecendo essa última, apresenta-se epistemologicamente frágil. Tomando como base um ponto de vista pós-estruturalista, Stronach descontrói a “operação retórica” de Parlett e Hamilton considerando que várias das colocações constantes no estudo dos dois simplificam as disputas do campo metodológico.

Em que pese essas e outras críticas recebidas, acreditamos que as orientações metodológicas da avaliação iluminadora se apresentam como um caminho seguro para a avaliação de programas inovadores ou não71_{, uma vez que possibilitam uma}

compreensão contextualizada do seu funcionamento, gerando conhecimento sem fechar a análise em produtos ou resultados, que é o que buscamos atingir com esta pesquisa. Por essa razão, decidimos seguir integralmente em nosso estudo os passos descritos acima, o que justifica, aliás, o detalhamento com que foram expostos72_{. Nos próximos}

tópicos deste capítulo, explicitaremos como essa estratégia foi colocada em prática na análise do Estágio-Visita, além de apresentar propriamente a edição que analisaremos desse programa.

71 _{Embora os autores se refiram a programas inovadores, acreditamos que a estratégia pode ser} implementada na avaliação de qualquer programa, como acontece, aliás, em vários estudos (Sloan e Watson, 2001; Ellis e Nolan, 2005; Savin-Baden et al., 2011). Em nosso caso específico, poderíamos considerar que o EV é uma inovação tanto no campo da educação legislativa, tomando como parâmetros os programas de simulação ou visitação bem mais difundidos; quanto no campo da educação e da formação profissional, porque é oferecido por uma casa legislativa e sem ligação direta com o sistema formal de ensino. No entanto, como não é nosso interesse focalizar o programa por esse viés, preferimos considerá-la apenas como uma estratégia de avaliação de programa. Além do mais, uma leitura contextualizada dos termos inovador e inovação no ensaio dos autores mostra que a inovação é muito mais um horizonte que justifica a nova proposta metodológica do que uma exigência relativa ao objeto de estudo.

72 _{O detalhamento também se deve ao fato de que acreditamos ser a proposta da Avaliação Iluminadora} uma alternativa relevante para a pesquisa educacional, sobretudo em relação a programas desenvolvidos em sistemas educacionais alternativos ou profissionais, como é o caso do sistema de educação do legislativo no Brasil, daí a necessidade de seu pleno conhecimento. Além disso, a despeito do tempo em que foi lançada, não encontramos registro de um uso significativo da abordagem entre nós, sendo somente citada de passagem em alguns estudos (Cf. Laguardia, Portela e Vasconcellos, 2007) e usada como orientação geral em uma dissertação de mestrado (Leite, 2010).