Hikaye anlatımı olarak Koleksiyoncu

dos Resultados) do Programa: responde a

questões relacionadas aos resultados e ao impacto do programa.

! Estão sendo atingidos os objetivos de resultado e o objetivo final?

! Os serviços estão tendo efeitos benéficos na população atendida?

! Os serviços estão tendo efeitos colaterais adversos na população atendida?

! Será que algumas pessoas dentre a população atendida não estão sendo mais “afetadas” pelos serviços do que outras? ! Será que o problema diagnosticado, ou a situação inicial que

o programa pretendia enfrentar, está melhorando? 5) Avaliação da Eficiência:

responde a questões relacionadas ao custo do programa e ao seu custo- efetividade.

! Os recursos estão sendo utilizados de modo eficiente?

! O custo está razoável em relação à magnitude dos benefícios?

! Será que abordagens alternativas conseguiriam produzir benefícios equivalentes a custos mais baixos?

Como vemos, a elucidação dessas questões, como feita aqui por Rossi, Freeman e Lipsey, cumpre o papel de tópico-guia para a condução da avaliação de programas sociais. E, diga-se de passagem, muito mais completo e exaustivo do que o marco lógico. Defendemos que, para que um programa seja eficaz e consiga realmente promover as mudanças sociais pretendidas, todas estas questões devem ser levadas em consideração, independente da natureza do programa, quer seja pública ou privada. Particularmente no caso dos projetos sociais desenvolvidos por empresas privadas, enfatizamos a importância do foco no problema a ser resolvido, do foco na clientela e do foco nos resultados alcançados. Na maior parte das vezes, em se tratando de iniciativas empresariais, estes aspectos não chegam sequer a ser considerados.

Obviamente caberá ao avaliador levantar as questões relevantes a serem investigadas em cada programa específico. E, conforme os teóricos dessa abordagem, o estabelecimento dessas questões prioritárias deverá ser feito de modo participativo, levando em consideração os diferentes, e muitas vezes conflitantes, pontos de vista dos múltiplos stakeholders envolvidos com o programa. É, pois, durante a fase do planejamento da avaliação que os diferentes pontos de vista devem ser discutidos, priorizados, e integrados quando possível. Como principais stakeholders, Rossi, Freeman e Lipsey (1999: p.92) apontam os financiadores da avaliação, os administradores do programa (que podem ser também os financiadores da avaliação) e os supostos beneficiários do programa.

Há que se ressaltar, assim, as especificidades dessa participação. Diferentemente do que ocorre nas propostas de “avaliação por emponderamento”, de “avaliação de quarta geração” e de “avaliação inclusiva”, aqui a ênfase NÃO está colocada nos beneficiários do programa. O que se pretende, no âmbito da avaliação orientada pela teoria do programa, é uma atuação interativa entre estes principais grupos de stakeholders. Na prática, porém, vem acontecendo um desvirtuamento dessa proposta e, no planejamento da avaliação, os beneficiários do programa acabam sendo justamente os que detêm menos poder de voz, ou quase nenhum. Os teóricos dessa abordagem, como Donaldson (in Donaldson e Scriven, 2003: p.135-136), reconhecem ser esta uma situação longe da desejável; e apontam a promoção de um efetivo relacionamento entre os grupos de stakeholders como um dos seus desafios mais importantes.

De modo didático, Rossi, Freeman e Lipsey (1999: p. 98-111) explicam que a Teoria do Programa é um conjunto de pressupostos acerca das relações entre a estratégia e as táticas adotadas no programa e os benefícios sociais que são esperados a partir dele. Eles apontam as diferentes terminologias que vêm sendo normalmente utilizadas para nomear a Teoria do Programa, tais como modelo lógico, modelo de programa, linha de resultados, mapa de causas e teoria das ações.

Diferentemente do que afirmam estes autores, e na linha do que foi apresentado por Donaldson e Scriven (2003), acreditamos que o Marco Lógico e a Teoria do Programa são propostas metodológicas diferentes. Isto porque, na realidade, a Teoria do Programa tem um escopo muito mais ambicioso do que o Marco Lógico: ela não visa apenas mensurar o grau de alcance de objetivos (como é o caso do Marco Lógico), mas busca também identificar relações de causalidade, adequação da conceptualização do programa, além da qualidade de sua execução. Isto fica evidenciado naqueles cinco blocos de questões, apresentados no quadro 7.

Nem sempre a teoria do programa encontra-se explicitada com clareza na documentação do programa. Aliás, na maior parte das vezes, ela se encontra implícita e, recuperá-la constitui-se em uma das primeiras tarefas do avaliador. As principais fontes de informação disponíveis para se captar e explicitar a Teoria do Programa são: (a) revisão dos documentos do programa; (b) entrevistas com a equipe do programa, os seus stakeholders, e outros informantes selecionados; (c) visitas e observação das várias funções e circunstâncias de funcionamento do programa (Rossi, Freeman e Lipsey, 1999: p. 160-162).

A Teoria do Programa pode ser sub-dividida em Teoria do Impacto e Teoria do Processo, sendo esta última decomposta no Plano de Utilização do Serviço e no Plano Organizacional (ver quadro 8).

Quadro 8 - Os Componentes da Teoria do Programa

Teoria do Impacto

Teoria do Programa Plano Organizacional Teoria do Processo

Plano de Utilização do Serviço

Fonte – Rossi, Freeman e Lipsey, 1999: p.101

Comparando este esboço (quadro 8) com o quadro 7, a noção de Teoria do Programa pode parecer confusa em Rossi, Freeman e Lipsey. Isto porque, observando o quadro 7, fica a idéia de que a Teoria do Programa precede à Teoria do Processo e à Teoria do Impacto. No entanto, o quadro 8 mostra que estas duas últimas constituem componentes daquela primeira. Para dirimir qualquer tipo de confusão nesse sentido, é importante ficar claro que o objeto do quadro 7 é a avaliação, e esta deve englobar tanto a fase de concepção e planejamento do programa (bloco das questões relativas à Teoria do Programa propriamente), como as fases seguintes relativas ao acompanhamento do programa, em termos de processo e resultados (blocos de Processo e Impacto do Programa).

A Teoria do Impacto compreende o conjunto dos pressupostos do programa que dizem respeito a como os seus serviços vão provocar as mudanças sociais desejadas. Nesse sentido, a Teoria do Impacto é uma teoria causal: ela descreve uma seqüência de causas-e-efeitos, onde certas atividades do programa são vistas como as instigantes causas e certos benefícios sociais são os efeitos produzidos por elas. (Rossi, Freeman e Lipsey, 1999: p.102).

Na Teoria do Impacto, estão subentendidas duas hipóteses. A primeira, a hipótese da ação, descreve como as ações implementadas pelo programa produzem os chamados “resultados imediatos, ou próximos”. A segunda, a hipótese conceitual, mostra como o alcance dos resultados imediatos vão produzir os desejados benefícios sociais, os “resultados finais, ou distantes” (quadro 9). Citando Chen (1990), Rossi, Freeman e Lipsey (1999: p.105) exemplificam com o caso de um programa de suplementação proteica para crianças pobres, cujo objetivo imediato é reduzir a desnutrição (hipótese de ação), e o objetivo final é impulsionar o crescimento físico das crianças (hipótese conceitual).

Quadro 9 - Teoria do Impacto do Programa

Ações do Resultados Resultados

Programa Imediatos Finais

Hipótese Hipótese

de Ação Conceitual

Fonte: Rossi, Freeman e Lipsey, 1999: p.105

No “Plano de Utilização do Serviço do Programa” o foco está na forma como se dá a interação dos clientes com as ações do programa, isto é, desde o contato inicial da população- alvo com o programa até o encerramento da entrega dos serviços. Aqui as ações do programa são descritas sob a perspectiva da população atendida, suas experiências e histórias de relacionamento com o programa.

Quanto ao “Plano Organizacional”, ele é articulado sob a perspectiva dos gestores do programa, e compreende as funções e atividades relacionadas aos recursos humanos, financeiros e físicos necessários para o funcionamento do programa. Ele está baseado em um conjunto de crenças, pressupostos e expectativas acerca do que o programa deve fazer para entregar os serviços sociais à população-alvo.

No que se refere à análise da eficiência dos programas sociais, Rossi, Freeman e Lipsey (1999: p. 364-372) explicam com bastante clareza dois conceitos básicos normalmente aí utilizados. O primeiro é o da “análise custo-benefício” em que se estima a relação entre os resultados (tangíveis e intangíveis) e os custos (diretos e indiretos) do programa, ambos medidos em unidades monetárias. O segundo conceito é o da “análise custo-efetividade” onde se estima também a relação entre resultados e custos do programa, com a diferença de que aqui apenas os custos são considerados em unidades monetárias, já que os resultados são tomados em suas próprias unidades de referência. Como exemplo para este segundo indicador, os autores mencionam que o custo-efetividade da distribuição gratuita de livros escolares para as escolas rurais pode ser dado pelo aumento médio obtido nos scores de leitura das crianças-alvo do projeto para cada US$ 1.000 investidos.

Diferentemente do que ocorre nos projetos industriais e técnicos, estes autores alertam que nos projetos sociais existe muita controvérsia na conversão dos resultados em valores

monetários. Daí porque, na arena social, a “análise custo-efetividade” é normalmente vista como uma técnica mais apropriada do que a “análise custo-benefício”.

Vistos estes aspectos mais gerais que caracterizam a Avaliação Orientada pela Teoria do Programa, passemos a nos concentrar, no âmbito dessa abordagem, na avaliação de impacto propriamente, pois é esta a etapa da avaliação que nos interessa de perto neste estudo.