Campbell Davası

Atualmente, a crise no campo da avaliação parece estar, de fato, superada. A avaliação já está vivendo o segundo boom period de sua curta história – é o que afirmam Donaldson e Scriven (2003: prefácio), ao introduzirem o livro que organizaram com as principais palestras e intervenções do Simpósio de Stauffer, realizado em fevereiro de 2001 no sul da Califórnia (EUA), e que teve a avaliação social como tema central.

Segundo estes autores, em 1990, havia apenas cinco importantes associações de profissionais em avaliação em âmbito mundial; hoje em dia, já são em torno de quarenta. Atualmente há o consenso de que o trabalho mais importante desses avaliadores no século XXI será o de prevenir e melhorar os problemas sociais que ainda afligem grandes parcelas da população mundial. Porém, este trabalho deverá ser conduzido inevitavelmente nas mais

30 _{Fenomenologia: Escola filosófica cujo principal representante é Edmund Husserl e que se ocupa da aparência} das coisas (fenômenos) como realidade a ser estudada, independentemente de elas possuírem ou não uma essência diferente da aparência. Em ciência social, o termo se refere a correntes que sustentam não existir uma realidade social objetiva, mas simplesmente uma construção social dessa realidade, que deve ser apreendida holisticamente através da empatia (Cano, 2002:p.112)

diferentes formas, aí incluindo escolas (teóricas), comunidades, organizações lucrativas e não- lucrativas.

No referido livro organizado por Donaldson e Scriven (2003), estão sistematizadas as seis visões tidas hoje em dia como as mais relevantes no campo da avaliação social. Comentaremos muito brevemente, a seguir, estes seis enfoques e os seus principais desafios.

Inicialmente, é o próprio Michael Scriven (p.6; 19-41 in Donaldson e Scriven, 2003) que apresenta o chamado enfoque Transdisciplinar da avaliação social. Para ele, a avaliação deverá, no futuro, vir a fazer parte do grupo de elite das disciplinas em Ciências Sociais, as chamadas “transdisciplinas”, em função de sua capacidade de propiciar as ferramentas essenciais para as demais disciplinas. Mas para isso, será necessário, antes, que ela se transforme em uma disciplina com clareza de definição, de temas prioritários, de estrutura lógica e dos seus múltiplos campos de aplicação. Scriven acredita que este enfoque transdisciplinar da avaliação conseguirá revolucionar a aplicação das ciências sociais aos problemas sociais.

Em seguida, Joseph S. Wholey (p. 6-7; 43-61 in Donaldson e Scriven, 2003) defende a abordagem da Avaliação Orientada por Resultados31. Segundo este autor, os programas sociais em âmbito mundial têm falhado porque não conseguem atingir os seus objetivos, não resolvem as necessidades sociais, não obtêm apoio da população como um todo e, o que é pior, alguns programas chegam a ser até prejudiciais. A implementação dessa abordagem exige que sejam seguidos os seguintes passos: (1) desenvolver consenso entre os stakeholders-chave quanto aos objetivos e estratégias; (2) medir e avaliar os resultados de desempenho de modo regular; e (3) utilizar as informações de desempenho para promover a efetividade do programa e fortalecer a prestação de contas (accountability) aos stakeholders- chave e ao público em geral.

Existe uma estreita relação entre esta visão de Avaliação Orientada por Resultados e a prática gerencial da Administração por Objetivos – APO, que também prescreve a definição de objetivos claros, o envolvimento dos gerentes e da equipe na tomada de decisão, e o

31 _{No referido texto, Wholey utiliza o termo Results-Oriented Management. Preferimos aqui traduzi-lo como} “Avaliação Orientada por Resultados” para ser compatível com as demais terminologias apresentadas por Donaldson & Scriven (2003) para as seis visões em Avaliação, e também porque o foco da nossa análise é a avaliação do programa social, e não a sua gestão.

monitoramento e a avaliação de resultados (Vedung32, 1997, apud Wholey in Donaldson e Scriven, 2003: p.45).

Este segundo enfoque, que é o da Avaliação Orientada por Resultados, vem sendo cada vez mais utilizado pelo setor público brasileiro, sobretudo a partir da segunda metade dos anos 90. É conhecido no Brasil como o Método do Marco Lógico (ou Logical Framework). Sua entrada aqui e posterior difusão se deu sobretudo em função das exigências de avaliação dos organismos multilaterais – como Banco Mundial, BID e UNICEF33 – em seus empréstimos para a área social do país. Devido ao uso bastante difundido atualmente no Brasil, tanto nas várias esferas do setor público quanto entre as organizações do Terceiro Setor, abordaremos adiante este enfoque com mais detalhes.

O terceiro enfoque relacionado à avaliação social, o da Avaliação por Emponderamento (ou Empowerment Evaluation), é descrito por David Fetterman (p. 7-8; 63- 76 in Donaldson e Scriven, 2003) como sendo uma abordagem sistemática voltada a facilitar a auto-avaliação. Ele argumenta que não se pode perder de vista que os conceitos de avaliação, suas técnicas e resultados devem ser utilizados em benefício dos próprios stakeholders, para que eles possam melhorar os seus programas por meio da auto-avaliação e da reflexão crítica. O papel do avaliador no novo milênio deverá ser o de um facilitador, um amigo crítico ou um colega com expertise em avaliação, ao invés de ser o de um juiz. Fetterman advoga o uso de métodos de pesquisa tanto quantitativos como qualitativos, que podem ser tanto os tradicionais como os “inovadores”. Ele adverte, porém, contra os excessos metodológicos, recomendando o uso de métodos simples, adequados à tarefa de avaliação em questão.

O enfoque da Avaliação de Quarta Geração é apresentado no livro de Donaldson e Scriven (2003: p.8; 77-90) por Yvonna Lincoln, conforme descrito originalmente em Guba e Lincoln (1989)34. Ela defende que essa deverá ser a abordagem de avaliação do novo milênio, e que está baseada na compreensão de que a chamada “verdade científica”, na realidade, não passa de pretensões ideológicas defendidas no âmbito de regimes políticos de poder, quer seja na academia ou na prática da avaliação.

Explicamos brevemente o termo Avaliação de “Quarta Geração”. Segundo Guba & Lincoln (1989) apud Firme (1994: p.6-8), do início do século XX para cá, podemos falar em

32 _{VEDUNG, E. Public Policy and program evaluation. New Brunswick, NJ: Transaction Publishers, 1997.} 33 _{BID – Banco InterAmericano de Desenvolvimento}

quatro gerações de avaliação, numa evolução essencialmente conceitual – eles se referiam sobretudo à avaliação em educação. A primeira, sobretudo nas décadas de vinte e trinta, esteve associada à idéia de mensuração, de elaboração de instrumentos ou testes (de rendimento escolar). A segunda geração, dos anos trinta e quarenta, foi eminentemente descritiva, e o papel do avaliador estava concentrado em descrever padrões e critérios. Para os avaliadores de terceira geração, o julgamento passou a ser o elemento crucial; foi quando eclodiram os vários modelos de avaliação, na tentativa de se chegar ao julgamento de valor de modo sistemático e esclarecedor. Nestas três gerações de avaliação, predominou a ênfase excessiva no paradigma científico e na importação de modelos de pesquisa oriundos das ciências exatas. Daí que a proposta da avaliação de quarta geração, adentrando a década de noventa, é a de um processo interativo (com os vários grupos de interessados), negociado, que se fundamenta num paradigma construtivista. É uma forma responsiva de enfocar e um modo construtivista de fazer.

Já a abordagem da Avaliação Inclusiva, apresentada por Donna Mertens (p. 9; 91-107 in Donaldson e Scriven, 2003) tem como preocupação central incluir os membros da comunidade, normalmente os mais afetados pelas decisões metodológicas tomadas durante a condução da avaliação. A autora defende a ênfase deliberada na inclusão dos grupos que historicamente experimentaram opressão e discriminação com base em gênero, cultura, nível econômico, etnia, etc.... em um esforço consciente para construir um elo entre os resultados da avaliação e a ação social. Para Mertens, o papel dos avaliadores inclusivos é o de pro- ativamente corrigirem os fatores que sustentam a injustiça social. Isso pode ser conseguido ao desafiarem explicitamente o status quo, em termos de sua nítida intransigência com os problemas sociais, ao levantarem questões relacionadas à inadequação das intervenções sociais e ao adotarem uma postura que revele efetivamente as variáveis que contribuem para a solução dos problemas sociais.

Finalmente, Stewart Donaldson apresenta a sexta, e última, visão relevante (p. 10; 109-141 in Donaldson e Scriven, 2003), a da Avaliação Orientada pela Teoria do Programa. Para Donaldson, essa é a abordagem que pode ser considerada como o “estado da arte” em avaliação social. Isso porque este enfoque consegue enfrentar os cinco problemas principais diagnosticados por ele no campo do planejamento e da avaliação social nessas três últimas décadas, a saber: (a) conceptualização inadequada do programa; (b) implementação pobre do

34 _{GUBA, E.G. & LINCOLN, Yvonna S. Fourth Generation Evaluation. Thousand Oaks, CA: Sage, 1989.}

programa; (c) avaliação insensível do programa; (d) relações precárias entre o avaliador e os stakeholders; (e) barreiras impedindo o conhecimento cumulativo sobre o programa.

Dito de modo simplificado, este enfoque metodológico, marcado por seu aspecto contingencial, envolve basicamente três passos: (1) Desenvolver a Teoria do Programa, que consiste na construção do referencial conceitual, que especifica como o programa pretende solucionar o problema social em questão; (2) Formular e priorizar as Questões de Avaliação; (3) Responder as Questões de Avaliação, quando são selecionados os métodos mais adequados, quer sejam quantitativos ou qualitativos, a serem utilizados na busca das respostas às Questões de Avaliação.

A metodologia de avaliação para a ação social das empresas a ser proposta nessa tese terá como referencial essa última abordagem teórica. Daí porque voltaremos, ainda nessa subseção, a analisar com mais detalhes esse sexto enfoque de avaliação social.

A partir dessas seis visões apresentadas por Donaldson e Scriven (2003: p.3-141), pudemos identificar duas grandes linhas do pensamento teórico em avaliação social. Dito de modo bastante simplificado, as abordagens da “Avaliação Orientada por Resultados” e da “Avaliação Orientada pela Teoria do Programa” compõem uma primeira linha teórica, caracterizada basicamente pela busca de comprovação de resultados previstos para a intervenção social. Já as abordagens da “Avaliação por Emponderamento”, da “Avaliação de Quarta Geração” e da “Avaliação Inclusiva” constituem a segunda linha teórica, onde o aspecto central é o da inclusão dos beneficiários dos programas sociais na condução do processo de avaliação. Podemos dizer ainda que a abordagem “Transdisciplinar” permeia essas duas linhas teóricas.

No que se refere à primeira linha teórica, chamamos a atenção para dois aspectos. O primeiro, e de certa forma rejeitando o mito de que a “avaliação orientada pela teoria do programa” seja igual a “marco lógico”, é a idéia da complementaridade entre as duas abordagens que compõem essa linha teórica. Na realidade o marco lógico pode ser usado para desenvolver a teoria do programa, mas não chega a ser, em si, uma teoria compreensiva da prática de avaliação (Donaldson in Donaldson e Scriven, 2003: p.131). E o segundo aspecto refere-se ao fato de que a busca de participação e de emponderamento dos stakeholders-chave envolvidos com o programa social também está presente nessa vertente teórica. Não se constitui, no entanto, uma busca de participação centrada (quase que

exclusivamente) na população-alvo do programa, conforme destacamos para aquela segunda linha teórica.

A seguir, apresentamos com mais detalhes os dois enfoques que compõem essa primeira linha teórica, que é a que nos interessa de perto nessa tese, já que elegemos a eficácia como o critério predominante para a metodologia de avaliação a ser aqui proposta.