Ġstatistiksel Analiz

A partir dos anos 1960 houve um crescente interesse pelo estudo das políticas públicas, com o desenvolvimento do Estado de Bem Estar Social nos países industrializados e os esforços ao desenvolvimento na periferia. Esses processos políticos, sociais e econômicos que acompanharam a transformação do Estado, a partir da segunda metade do século XX, fizeram com que um novo campo de investigação social surgisse, o de análise das políticas públicas (FLEXOR; LEITE, 2007).

Neste mesmo contexto, o desenvolvimento da Administração Pública intensificou o interesse pela avaliação das políticas públicas e programas governamentais. Cunha (2006) relaciona esse interesse com questões de efetividade, eficiência, accountability e desempenho da gestão pública, por considerarem estes estudos ferramenta para gestores, formuladores e implementadores de programas e políticas públicas. Ceneviva (2005) contribui afirmando que a literatura referente às tendências recentes na avaliação de programas e políticas públicas também elenca o problema do desempenho e da accountability, entre as razões para se realizarem estudos de avaliação.

Ala-Harja e Helgason (2000:8) definem avaliação assegurando que “o termo compreende a avaliação dos resultados de um programa em relação aos objetivos propostos”. No entanto, os autores advertem que não existe um consenso quanto ao que seja avaliação de políticas públicas, já que o conceito admite múltiplas definições. Uma definição comumente empregada seria a de Weiss (1998) que define avaliação como a estimativa sistemática da operação e/ou dos resultados de um programa ou de uma política, comparada com um conjunto de parâmetros implícitos ou explícitos, como forma de contribuir para o aprimoramento do programa ou política.

Garcia (2001), na tentativa de combinar contribuições de diversos autores, define avaliação como sendo uma operação na qual se julga o valor de uma iniciativa organizacional, tendo em vista um quadro referencial ou padrão comparativo previamente definido. Ou ainda, a operação de constatar a presença ou a quantidade

22 de um valor desejado nos resultados de uma ação empreendida para obtê-lo, a qual se baseia em um quadro referencial ou critérios de aceitabilidade pretendidos.

De acordo com Cohen e Franco (2007), a avaliação não deve ser entendida como uma atividade isolada e autossuficiente, pois faz parte do processo de planejamento da política social, possibilitando uma retroalimentação que permite a seleção entre diversos projetos de acordo com sua eficácia e eficiência. Permite, também, analisar os resultados obtidos por esses projetos, fornecendo condições de retificar as ações e reorientá-las em direção ao fim demandado.

A fase da avaliação é, na percepção de Frey (2000: 229), “imprescindível para o desenvolvimento e a adaptação contínua das formas e instrumentos de ação pública”. Cunha (2006) contribui com esta visão afirmando que os formuladores e implementadores podem tomar suas decisões com maior conhecimento a partir das avaliações de políticas e programas, possibilitando maximizar o resultado do gasto público, identificar êxitos e superar pontos de estrangulamento.

Numa visão mais ampla, Derlien (2001) identifica três funções que podem ser atribuídas à avaliação de políticas, sendo elas: de informação, de alocação e de legitimação. Segundo Garcia (2001), o princípio elementar que sustenta a realização da avaliação se encontra no fato de que não se pode conduzir com efetividade programas e projetos sociais se os dirigentes não conhecem os sinais vitais do processo que conduz e da situação em que intervêm.

Neste estágio do ciclo político, os critérios básicos de avaliação usualmente propostos são, conforme Belloni et. al (2003): eficiência, eficácia e efetividade, funcionando estes como indicadores gerais de avaliação das ações de planejamento e execução e dos resultados alcançados pela política.

O manual da UNICEF (1990), por sua vez, destaca os seguintes critérios a serem utilizados na avaliação: eficiência (menor relação custo/benefício no alcance dos objetivos estabelecidos no programa); eficácia (medida do grau em que os objetivos e metas são atingidos pelo programa); impacto ou efetividade (efeitos, em termos técnicos, econômicos, socioculturais, institucionais e ambientais, no ambiente externo em que o programa interferiu); sustentabilidade (continuidade, após o término do programa, dos seus efeitos benéficos alcançados); análise custo- efetividade (próximo da ideia de custo de oportunidade e do conceito de pertinência); satisfação do beneficiário (comportamento do beneficiário em relação à qualidade do atendimento que está obtendo do programa); e equidade (a forma como os benefícios

23 de um programa estão sendo distribuídos de maneira justa e de acordo com as necessidades dos beneficiários).

De acordo com Cohen e Franco (2007), a avaliação pode ser classificada, quanto ao enfoque ou problema que se busca responder, em: avaliação de processos e avaliação de impacto. Para Figueiredo e Figueiredo (1986), a avaliação de processos visa a verificar a eficácia do programa, ou seja, se o mesmo foi ou está sendo implementado de acordo com o proposto e cumprindo as metas desejadas. Esse tipo de avaliação é, de acordo com Costa e Castanhar (2003), capaz de verificar possíveis problemas na elaboração dos procedimentos, identificar barreiras e obstáculos à sua implementação e gerar dados para a sua reprogramação através do registro de eventos e de atividade, o que permite a introdução de mudanças no seu conteúdo durante a própria execução. Quanto à avaliação de impacto, tais autores argumentam que esta busca: verificar a efetividade do programa, recorrendo, para tanto, a mecanismos que permitam estabelecer relações causais entre as ações de um programa e o resultado final obtido; identificar, ao final do programa, os efeitos produzidos sobre os seus beneficiários; além de identificar em que medida as mudanças percebidas ocorreram na direção desejada.

Durante a fase de avaliação do ciclo político, os resultados pretendidos nas políticas se movem para o centro das atenções. A lógica normativa é que no final as políticas sejam avaliadas contra os objetivos pretendidos. A avaliação, no entanto, não está associada apenas com a fase final do ciclo político. A pesquisa de avaliação se constitui em uma “subdisciplina” separada em ciências políticas, que focaliza os resultados pretendidos e as suas consequências não intencionais. Estudos de avaliação não se restringem a uma determinada fase do ciclo político, em vez disso, a perspectiva é aplicada em todo o processo de decisão política e em diferentes horizontes no tempo (JANN; WEGRICH, 2007).

De forma semelhante, Theodoulou (1995) argumenta que avaliação não necessita ser realizada apenas após a implementação da política, mas também durante todo o processo, podendo ser realizada por uma variedade de atores governamentais e não governamentais, incluindo a mídia, os acadêmicos e os grupos de interesse.

É nesse contexto que Mendonza (2007) apresenta a avaliação como sendo a fase mais dinâmica do ciclo político, a qual busca identificar se as políticas e programas foram ou não bem sucedidos, ou seja, se os impactos foram os esperados.

24 De acordo com Schofield e Sausman (2004), a avaliação de políticas públicas representa uma área em ascensão na literatura e busca, além de analisar as variáveis relacionadas a seu desempenho, compreender os processos políticos envolvidos. É nesse contexto que Heller e Castro (2007) afirmam estarem abertas importantes vias para o debate, seja no plano teórico ou no metodológico, destacando o fato de que os pesquisadores da área possuem consciência da fragilidade conceitual e metodológica para o estudo e desenvolvimento das políticas públicas.

Considerando a avaliação um conjunto de técnicas que adota conceitos diferenciados para referir muitas vezes aos mesmos procedimentos, Costa e Castanhar (2003) alertam para a necessidade de se avançar na teorização da prática e buscar os consensos necessários para a construção de paradigmas conceituais, pois caso contrário, cada esforço de avaliação vai exigir o estabelecimento prévio de uma estrutura de referência para a análise e o treinamento supervisionado do pessoal envolvido. Na visão desses autores tanto para avaliação de programas públicos quanto para outros campos na administração, “o aprendizado com as experiências práticas contribui para a superação das dificuldades conceituais e operacionais” (COSTA; CASTANHAR, 2003:970).

As avaliações podem conduzir a diversos modelos de aprendizagem política, com diferentes implicações em termos de mecanismos de resposta, os quais podem resultar no reinício de um potencial processo político. Neste contexto, para se prever se uma política será ou não bem-sucedida, sendo as bem-sucedidas reforçadas, um mecanismo que pode ser utilizado seria o chamado projeto-piloto, em que uma determinada medida seja, em princípio, introduzida dentro de um contexto limitado. Desta forma, as medidas que foram contestadas deverão ser revistas pelo projeto- piloto, com o intuito de evitar os conflitos, devendo assim, adiar a ação pretendida para um momento em que o clima político seja propício para um curso mais duradouro desta ação (JANN; WEGRICH, 2007).

Segundo Assumpção e Campos (2009), a preocupação com os procedimentos metodológicos e bases ideológicas do processo avaliativo buscam oferecer uma direção para as pesquisas futuras e, assim, facilitar a intervenção empírica por meio da ativação de um processo político de avaliação que enfatize a fidedignidade, transparência, credibilidade e o impacto das informações geradas.

25 A relevância dos estudos sobre a avaliação de políticas públicas é visível e exige dos estudiosos comprometimento e seriedade, para assim, superar os desafios existentes e alcançar resultados que se revertam em benefícios para toda a sociedade. A subseção seguinte apresenta o processo de avaliação de impacto das políticas de microfinanças, suas dificuldades metodológicas e algumas formas de tratamento para este tipo de avaliação.