Dünyadan Konuyla İlgili Yaklaşımlar

Dentre as metodologias de avaliação social utilizadas pelo setor público, o marco lógico ocupa atualmente posição de destaque, não apenas no Brasil como em vários outros países. Na realidade, devemos lembrar que ele não foi sequer concebido para ser um método de avaliação, mas para ser um instrumento de planejamento e sistematização das intervenções sociais, sendo uma de suas vantagens o fato de possibilitar a avaliação e o monitoramento.

O marco lógico foi originalmente desenvolvido no final dos anos 60 pela United States Agency for International Development – USAID, agência do governo norte-americano de assistência aos países com risco social, criada pelo presidente John Kennedy no âmbito do Plano Marshall.

Mas, foi sobretudo a partir dos anos 90 que ele se tornou o referencial metodológico básico para a avaliação social em âmbito internacional. Foi decorrência dos processos recentes de reforma, tanto dos setores público como não-lucrativos, quando passou a emergir um novo padrão de administração orientada por resultados. Nos Estados Unidos, este movimento teve início com a decretação, em 1993, do Ato de Desempenho e Resultados do Governo (Government Performance and Results Act – GPRA) e se estendeu por todos os níveis de governo, fundações e agências (Wholey in Donaldson e Scriven, 1993: p.45).

No Brasil, a partir de 2000, a elaboração do Planos Plurianuais (PPA), e dos Orçamentos Gerais da União (OGU) passaram a ter como base a estrutura do marco lógico, conforme previsto no Decreto nº 2.829, de 29 de outubro de 1998, que formalizou a reorganização do processo de planejamento do governo federal em nosso país. A orientação para o planejamento das ações públicas está sendo seguido também em âmbito estadual e municipal.

Garcia (2001: p.18,19) aponta que, de acordo com o referido decreto, cada programa deverá estar voltado para o enfrentamento de um problema precisamente identificado,

devendo conter: objetivo; público-alvo; justificativa; órgão responsável; valor global; prazo de conclusão; fonte de financiamento; indicador que quantifique a situação que tenha por fim modificar; metas, etc ... Os programas compõem-se de ações: projetos e atividades orçamentárias; operações especiais; e outras ações. Para as ações deverão ser indicados os produtos resultantes, as unidades de medida, as metas físicas, os custos, a unidade responsável e a forma de implementação.... Com isso, abre-se espaço para a construção de indicadores, coeficientes, parâmetros que constituem componentes importantes de qualquer sistema de produção de informações orientadas para a avaliação e gestão. São, portanto, inovações promissoras.

Retomando a gênese do marco lógico e, conforme destaca estudo do BID (1994: p.1), este método foi elaborado pela USAID como resposta a três problemas básicos daquela época, a saber: (1) o planejamento de projetos carecia de precisão, com objetivos múltiplos que não estavam claramente relacionados com as atividades do projeto; (2) os projetos não se executavam com êxito, e o alcance da responsabilidade do gerente do projeto não estava claramente definida através dos fatores fora do seu controle; (3) não havia uma imagem clara de como ficaria o projeto se tivesse êxito, e os avaliadores não tinham uma base objetiva para comparar o que se planejou com o que realmente se sucedeu.

Assim, segundo o BID (1994), o marco lógico é uma ferramenta de planejamento para facilitar o processo de conceptualização, desenho e execução de projetos. Ele está baseado na sistematização de um projeto a partir da identificação dos vários níveis hierárquicos de objetivos associados a ele, e para os quais são identificados os respectivos indicadores, metas, fontes de verificação e pressupostos. A sua estrutura básica é uma matriz cinco por quatro, como mostra o quadro 5. O termo marco lógico advém, portanto, dessa forma encadeada de raciocinar sobre o projeto e suas inter-relações.

Quadro 5 – A estrutura do Marco Lógico

Objetivos Indicadores Metas Fontes de verificação Pressupostos

Geral (Fim) xxxxxxxxx xxxxxxx xxxxxxxxxxxxxxxxxxx xxxxxxxxxxx Específico (Propósito) xxxxxxxxx xxxxxxx xxxxxxxxxxxxxxxxxxx xxxxxxxxxxx De Produto (Componentes) xxxxxxxxx xxxxxxx xxxxxxxxxxxxxxxxxxx xxxxxxxxxxx Atividades (Tarefas) xxxxxxxxx xxxxxxx xxxxxxxxxxxxxxxxxxx xxxxxxxxxxx

Para a construção do marco lógico, busca-se estabelecer, em um primeiro momento, uma estrutura (ou árvore) integrada de problemas; a partir da qual é construída, em um segundo momento, uma árvore de objetivos. É, então, tendo por base esta hierarquia de objetivos, que são definidos os indicadores e as metas para cada plano, programa, projeto, produto e atividade; eles funcionam como termômetros do sucesso do projeto. Não há dúvidas de que o processo em si de construção do marco lógico, envolvendo de forma participativa os vários atores relacionados ao projeto - população beneficiada, órgãos financiadores e equipe gestora, vem desempenhando importante papel para o planejamento e comunicação da estratégia de ação.

É interessante transcrever aqui as vantagens do marco lógico apontadas pelo BID (1994: p. 1-2), cabendo aí destacar a possibilidade de avaliação e monitoramento que ele proporciona.

! “Proporciona uma terminologia uniforme que serve para eliminar ambigüidades; ! Proporciona um formato para chegar a acordos acerca dos objetivos, metas e

riscos do projeto, que entre si compartilham o agente financiador, em geral o banco, e o executor

! Oferece um referencial analítico comum, de que podem utilizar o agente financiador, os consultores e a equipe do projeto para elaborar tanto o projeto como o informe do projeto

! Oferece informação para se trabalhar, de forma lógica, a estrutura de execução do projeto

! Oferece informação para a execução, monitoramento e avaliação do projeto ! Proporciona um formato para expressar toda esta informação em um só quadro”.

Não se pode, obviamente, deixar de reconhecer todas estas vantagens do marco lógico. Na medida em que for bem construído, ele pode possibilitar o entendimento claro do projeto e a sistematização, de forma hierarquizada, dos seus vários níveis de desafios.

Por outro lado, se o marco lógico não for bem construído, por motivos de incompetência técnica de seus planejadores, ele será de pouca valia, ou quase nenhuma, em sua função de orientação na condução do projeto. Porém, se a razão tiver sido intencional e unilateral para ludibriar um dos stakeholders do projeto, normalmente o agente financeiro, o marco lógico pode estar sendo usado como aliado em interesses escusos. Às vezes, por mais participativo que seja o processo de construção do marco lógico, envolvendo todos os

stakeholders, estes interesses escusos podem passar despercebidos em manobras, aparentemente ingênuas, como a escolha dos indicadores ou a fixação das metas.

Ainda que bem construído, há que se ter claro quais são as limitações do marco lógico. De modo a melhor ilustrar essas limitações e dificuldades, tomemos, a título de exemplo, um projeto hipotético de “Qualificação de professores da rede pública de ensino fundamental do Estado do Rio de Janeiro” / Brasil – ver quadro 6.

Quadro 6 – Marco Lógico: um exemplo hipotético

Objetivos Indicadores Metas Fontes verif. Pressupostos

De política social: Promover o desenvolvimento humano no estado do RJ

Escolaridade

média do estado Elevar de 5 para 7 anos entre 2002 / 2012

IBGE /PNAD Desempenho do ensino público nas escolas de nível médio e superior; e nas escolas da rede privada.

De plano setorial: Melhorar o desempenho escolar da rede pública do ensino fundamental do estado do RJ Taxa de evasão escolar no ensino fundamental do estado Taxa de repetência do ensino fundamental do estado Reduzir de 30 para 20% entre 2002 / 2012 Reduzir de 10 para 5% entre 2002 / 2012

MEC/SEE-RJ Condições sócio- econômicas dos alunos Condições de acesso à escola

De programa: Promover a melhoria das condições de ensino da rede pública do ensino fundamental do estado do RJ Índice de qualidade das escolas de ensino fundamental - IQEEF(*) Elevar o IQEEF de 0,5 para 0,7 entre 2002 e 2006 MEC/SEE-RJ (pesquisa especial) Ambiente (político e de instalações) na escola para que o professor consiga aplicar seus novos conhecimentos

De projeto: Promover a qualificação (e atualização) dos professores da rede pública do ensino fundamental do estado do RJ Percentual de professores qualificados (**) em relação ao total de professores capacitados Percentual de professores capacitados em relação ao total de professores da rede pública do ensino fundamental (taxa de Elevar de 60% para 90%, entre 2002 e 2006 Elevar de 0% para 80%, entre 2002 (ano inicial do projeto) e 2006 MEC/SEE-RJ (pesquisa especial) e Dados administrativos do projeto Capacidade de aprendizagem dos professores Apoio político e financeiro do governo ao projeto.

cobertura) De produto: Ministrar cursos

nas áreas de ... Nº de cursos oferecidos por modalidade Nº de professores capacitados X cursos oferecidos por modalidade por ano Y professores capacitados por modalidade por ano Dados administrativos do projeto Apoio político e financeiro do governo ao projeto. De atividades:

Selecionar professores a serem capacitados

Planejar o conteúdo dos cursos Contratar os provedores Organizar a infra-estrutura de cada evento Professores selecionados Cursos planejados Capacitadores contratados Nº de eventos realizados Z professores selecionados por mês .... ... ... Dados administrativos do projeto Apoio político e financeiro do governo ao projeto.

Fonte: Elaboração própria.

(*) O IQEEF deverá ser construído a partir de indicadores de excelência de qualidade do ensino em escolas de nível fundamental, variando de 0 (pior qualidade) a 1 (melhor qualidade)

(**) O constructo “professor qualificado” deverá ser definido a priori. Poderá ser, por exemplo, uma variável do tipo dummy, sendo 1 (aprovado no teste de qualificação) e 0 (não aprovado no teste de qualificação). Nem todos os professores capacitados, ficam adequadamente qualificados para ministrarem um ensino de qualidade.

Uma primeira limitação diz respeito à análise horizontal do marco lógico, que é a aplicação mais usual deste método. Ela é feita a partir do cotejo entre os resultados alcançados e as metas previamente traçadas para cada nível de objetivo; porém, na realidade, este procedimento não dá garantias quanto ao sucesso / fracasso do projeto.

Explicamos melhor esta primeira limitação. Suponhamos que os resultados “de projeto” para a qualificação de professores da rede pública do ensino fundamental tenham ficado aquém da meta no estado do Rio de Janeiro, e ficado acima da meta no caso do estado do Paraná. Não necessariamente quer isto dizer que a condução deste projeto no Rio de Janeiro tenha fracassado, e a do Paraná tenha sido um sucesso; a realidade dos fatos pode, inclusive, estar apontando para o contrário. A explicação para estas discrepâncias pode estar

nos critérios, objetivos e/ou subjetivos, utilizados na fixação das metas em cada um dos dois estados: que podem ter sido mais distendidas no Rio de Janeiro e menos distendidas no Paraná. Assim, é importante ter claro que dificilmente, em projetos sociais, se consegue a homogeneização dos critérios para a definição das metas, de modo a viabilizar este tipo de comparação entre projetos semelhantes.

Uma segunda limitação está relacionada ao fato de que, através do marco lógico, não se identifica a qualidade dos resultados alcançados. Ele propicia tão somente uma leitura fria da comparação entre objetivos definidos e resultados alcançados. Ou, dito de forma diferente, a estrutura do marco lógico não possibilita a qualificação do critério da eficácia (de que forma um dado objetivo foi atingido), nem sequer o julgamento do projeto quanto a critérios de eficiência, eqüidade e sustentabilidade.

No exemplo em questão, suponhamos que no tocante aos objetivos de produto, tanto o projeto do Rio de Janeiro quanto o do Paraná alcançaram o mesmo desempenho em relação às metas traçadas, ou seja, atingiram 89% do número de professores a serem capacitados e 93% do número de cursos oferecidos. Aparentemente, tiveram a mesma performance em relação aos objetivos de produto – assim, não há como levar em consideração, no marco lógico, o fato, por exemplo, do Rio de Janeiro ter utilizado um método de capacitação muito mais inovador e adaptado às necessidades da clientela atendida. Ou ainda, o projeto no Rio de Janeiro ter focalizado muito melhor a população atendida em função das carências de treinamento detectadas.

Uma terceira limitação, e de certa forma relacionada à anterior, diz respeito à chamada análise vertical do marco lógico. Até agora, o uso do marco lógico tem ficado restrito à análise horizontal, não se examinando a relação de causalidade entre os resultados alcançados. Ou seja, até que ponto o alcance de um objetivo, em um certo nível do marco lógico, pode estar efetivamente contribuindo para o alcance de outro objetivo, em nível hierarquicamente logo acima, e assim sucessivamente, até se chegar à relação final de contribuição entre o projeto e a política social.

No exemplo hipotético em questão, teríamos que identificar se a contribuição dos cursos de capacitação está sendo significativa para a “qualificação dos professores” da rede pública estadual; se esta qualificação está realmente levando à melhoria da “qualidade do ensino” no estado; se esta melhoria do ensino está contribuindo de forma significativa para a melhora do desempenho escolar da rede pública do RJ; e se esta última está contribuindo

efetivamente para o aumento da escolaridade média do estado que é, como sabemos, um dos indicadores do desenvolvimento humano (PNUD)35. Em última instância, na análise vertical do marco lógico, o que se busca é isolar os efeitos entre os resultados alcançados, de modo a identificar relações de causalidade.

Mokate (abril 2000: p.4; 18-19), do BID, tem clareza quanto à importância desse questionamento pois, segundo ela, mais importante do que verificar o cumprimento do plano de ação, é questionar a própria validade deste plano de ação. Assim, o marco lógico, através de sua cadeia hierárquica de objetivos, deve traduzir a hipótese causal quanto ao caminho, ou à estratégia, para se atingir o objetivo maior almejado, que é o de transformação na realidade social. Apesar dessa clareza quanto á importância da análise vertical do marco lógico, Mokate não aponta como isto deveria ser feito – ou seja, como proceder para isolar as relações de causalidade entre os vários níveis de resultados alcançados no âmbito do marco lógico.

Mesmo porque isolar efeitos de projetos sociais segue sendo, até hoje, o grande desafio no campo da avaliação. Um desafio muito maior do que no campo dos setores econômicos – isto porque há uma multiplicidade de fatores (econômicos, sociais, políticos, psicológicos, regionais, etc...) ocorrendo simultaneamente, se interagindo e afetando conjuntamente o fenômeno social. Nos setores econômicos, estes efeitos são mais diretos e não tão numerosos, interligados e complexos.

Estas três limitações assinaladas dizem respeito ao uso do marco lógico, que vem sendo feito fundamentalmente pelo setor público e pelos organismos internacionais – neste último caso, como condição para financiamento de programas públicos. E se o marco lógico passasse também a ser utilizado para avaliar a ação social das empresas?

Na realidade, esta ampliação do uso do marco lógico já vem ocorrendo. Por exemplo, no Brasil, no final de 2001, a Petrobrás lançou o edital do seu programa Petrobrás Social, cujo objetivo era selecionar e financiar organizações do terceiro setor com projetos na área da Cultura da Paz, ou seja, que tivessem o foco em adolescentes e jovens em situação de risco social. Uma condição sine quae non para a seleção era a de que a organização apresentasse o seu plano de avaliação com base no marco lógico; em última instância, a organização social teria que demonstrar de que forma o seu projeto contribuiria para o Índice de Desenvolvimento Humano do município onde estivesse atuando.

É importante reforçar que, em se tratando das organizações do terceiro setor, e particularmente das empresas (no caso de seus projetos sociais), as limitações mencionadas quanto ao uso do marco lógico seguem existindo; e, no que se refere à terceira limitação, de forma ainda mais grave. Isto porque se, no caso dos projetos públicos, em geral de maior escala, ainda continua sendo um desafio isolar a sua contribuição para o desenvolvimento humano do município / estado, esta dificuldade fica potencializada no caso dos projetos sociais de empresas, em geral de pequena escala e bem mais restritos. Sem falar que os tradicionais indicadores de desenvolvimento humano ou de condições de vida em nível municipal só são calculados no Brasil com periodicidade decenal, por ocasião da apuração dos Censos Demográficos pelo IBGE (Instituto Brasileiro de Geografia e Estatística) – isto faz com que os efeitos de tais projetos tornem-se como meros pingos no oceano dez anos depois.

O nosso argumento aqui é o de que o impacto da ação social das empresas privadas na comunidade é localizado e de pequena escala, normalmente restrito aos arredores da empresa. Portanto, não faz sentido querer vinculá-lo ao desenvolvimento humano do município por meio da cadeia hierárquica de objetivos do marco lógico e, muito menos, querer identificar aí relações de causalidade.

Finalmente, há que se ter em conta que esta concepção do marco lógico não é nem original nem única no momento. Como analisa Rodrigues (2001), existe um paralelismo muito grande entre o marco lógico e o método do balanced scorecard, este último um sistema de gestão e planejamento empresarial desenvolvido por Kaplan e Norton (2000) a partir dos anos 90. Ambos os métodos estão centrados na definição e no gerenciamento de objetivos hierarquizados e integrados entre si e podem ser tidos, em última instância, como um desdobramento da Administração por Objetivos – APO dos idos dos anos 50, proposta por Peter Drucker (1968).