Após a análise das origens e incorporação à agenda de uma política pública, sua elaboração e execução, há a necessidade de se avaliá-la, para que se possa corrigir seus rumos e observar se os problemas que a fizeram surgir foram mitigados e se as hipóteses de causalidade para resolvê-los estavam corretas ou não. Nesta seção, serão discutidos conceitos e critérios de avaliação, bem como o papel dos atores e as mobilizações ocorridas nesta etapa do ciclo de vida da política pública.
Wollmann (2008) analisou a questão da avaliação de políticas públicas ao longo do tempo, argumentando que houve uma breve onda inicial, da metade da década de 1960, nos Estados Unidos, até o início da década de 1970, na qual a idéia da avaliação sistemática foi concebida e passou a fazer parte do ciclo de políticas públicas. Para o autor, entretanto, após a recessão causada pela crise do petróleo, as avaliações passaram a ser menos interessadas no desenvolvimento das políticas e de como aprimorá-las, para serem mais direcionadas a análises de custos e, em geral, associadas ao término das políticas. Uma terceira onda estaria ocorrendo a partir da virada do milênio, voltando as avaliações a terem um papel mais apreciativo e qualitativo, de feedback para as políticas, o que o autor afirma ter origens no movimento do New Public Management.
Os Estados Unidos são o país que liderou e ainda lideram na utilização de práticas de avaliação em políticas públicas, segundo Wollmann (2008) por uma razão cultural. Citando
estudo de Furobo e Sandahl (2002), o autor menciona que os países líderes na prática de avaliação de políticas públicas são, além dos Estados Unidos, Suécia, Noruega, Reino Unido, Alemanha, Dinamarca e Finlândia, o que deixa os países latinos em um segundo plano. Em relação ao Brasil, Costa e Castanhar (2003) enfatizam que não há, na administração pública brasileira, a preocupação de avaliar programas públicos, o que é corroborado pela visão de Faria (2005), que classifica como incipiente a prática da avaliação. Nos dois trabalhos, entretanto, reconhece-se que, a partir da pressão orçamentária que viveu o Estado brasileiro, tal cultura vem se desenvolvendo nos anos mais recentes. A avaliação de políticas públicas pode assumir diferentes conotações e responder a diferentes interesses e, conforme enfatiza Faria (2005) e a discussão a seguir esclarecerá, também são uma questão política, não sendo meramente algo puramente técnico ou gerencial.
Se os atos de execução são o principal produto final daquela etapa, em última análise, em relação ao problema ao qual a política pública se propõe resolver, o que interessa são seus impactos e conseqüências e não tais atos em si. Knoepfel, Larrue et al. (2007) denominam de impactos os efeitos ocorridos, a partir dos atos, em relação aos grupos-alvo, isto é, aos atores dos quais se esperaria mudança de comportamento para a solução da problemática da política. E denominam de conseqüências os efeitos em relação ao grupo dos beneficiários da política. A análise de impactos e conseqüências é o primeiro passo da avaliação de uma política e se trata, principalmente, de uma análise de comparação de custos (impactos) com benefícios (conseqüências).
Em tal análise, a abordagem da ANT pode ser proveitosa para o analista por recomendar que se estabeleça um contínuo de causalidade, sem saltos (LATOUR, 2005), entre os diferentes atores e ações. Assim, a ANT contribui para que não apenas se identifique comportamentos alterados e impactos dos atos da política, mas, também, para que se consiga trilhar as associações que fazem a causalidade entre Ato e impacto. Considerando que
inúmeros fatores podem influenciar no comportamento dos atores e que podem não ter qualquer relação com a política, essa contribuição à análise da política pode ser crucial. Além disso, a abordagem da ANT permite a investigação de se há ou não, na prática, o contínuo de causalidade esperado na política, isto é, desde a Definição do Problema, passando pelo Programa Político Administrativo, pelo Arranjo Político Administrativo, pelos Planos de Ação, até a mudança de comportamento em determinados grupos de atores.
A relação entre as autoridades públicas e os grupos-alvo, que, tipicamente, é a que dá origem aos impactos da política pública, é complexa. Eventualmente, a política pública e seus atos de execução podem não ter impactos observáveis, seja pela resistência ou falta de cooperação dos atores, ou, nos termos da ANT, por uma cooperação inesperada e tradução da vontade dos grupos-alvo nas autoridades públicas, ao contrário do que seria normalmente esperado. Dependendo do processo de tradução envolvido, os impactos também podem ser de maior ou menor abrangência, permanência e profundidade.
Um mesmo Ato de execução pode causar impactos diversos em diferentes atores que façam parte dos grupos-alvo, dependendo da capacidade de negociação própria de cada um. Como o conceito de grupos-alvo abrange todos os atores, públicos e privados, que deveriam modificar seus comportamentos, dentro da hipótese de causalidade da política, não é improvável que os impactos se dêem de forma diferenciada ou incoerente, o que deve ser merecedor de análise (KNOEPFEL, LARRUE et al., 2007).
Analogamente, um mesmo grupo-alvo pode estar sendo impactado por diferentes Atos, eventualmente havendo incoerência entre esses impactos. Evidentemente, quanto maior for essa incoerência, maiores as dificuldades da política de produzir os resultados esperados, já que os impactos tendem a ser mais desencontrados (KNOEPFEL, LARRUE et al., 2007). A abordagem da ANT, ao estimular que se investigue os diversos conduítes que unem os
diferentes atores, leva, naturalmente, a um tipo de análise capaz de considerar simultaneamente múltiplos impactos.
A avaliação das conseqüências dos atos de execução da política pública, isto é, os efeitos de tais atos entre os beneficiários finais da política, é uma questão relevante na sua avaliação, pois é o momento de se compreender e avaliar os benefícios gerados pela política pública posta em prática. Mais uma vez, há complexidade e dificuldade na obtenção clara das relações de causalidade, com o que a ANT pode colaborar, analogamente ao comentado acima para o caso dos impactos. Mais uma vez, uma eventual melhora de situação em um grupo beneficiado pela política pode ter se dado por outros fatores, exógenos à política (KNOEPFEL, LARRUE et al., 2007), razão pela qual a busca pelas relações de causalidade contínuas que caracteriza a abordagem da ANT pode ser valiosa.
A avaliação das conseqüências da política tem relação com o conceito de efetividade, pois verifica-se se os efeitos desejados estabelecidos no Programa Político Administrativo (PPA) e nos Planos de Ação (PA) ocorreram ou não. Como freqüentemente o PPA e mesmo os PAs são pouco claros, pouco explícitos, com escassa menção de metas e indicadores precisos, essa análise de efetividade é, muitas vezes, limitada e passível de questionamentos (KNOEPFEL, LARRUE et al., 2007).
O mesmo fenômeno também ocorre nas análises de eficiência, que buscam comparar os custos com os benefícios alcançados por uma determinada política. Análises de custo- benefício absolutas são muito difíceis de se realizar (KNOEPFEL, LARRUE et al., 2007). Mais fáceis são as análises de natureza relativista, em que se compare a situação antes e depois, buscando-se diferenças relativas. Nesse caso, para se ter mais certeza das relações de causalidade, a perspectiva da ANT pode ser relevante.
Uma política pública também pode ser avaliada quanto à sua relevância. Por esse critério, ao invés de se olhar para o impacto e as conseqüências da política, olha-se em direção
ao problema que a motivou, observando-se o quanto o Programa Político Administrativo e os Planos de Ação definidos no âmbito da política têm relevância para lidar com a demanda que motivou a sua existência. Como a política é definida, planejada, implementada, gerida e até avaliada em um processo que envolve vários atores, influências, negociações, é possível que as mobilizações e traduções levem a um Programa Político Administrativo e a Planos de Ação distantes dos objetivos originais da política, do problema que a motivou, razão pela qual fazer essa avaliação é interessante, dependendo dos interesses de quem avalia a política (KNOEPFEL, LARRUE et al., 2007).
Assim como ocorre em outras etapas do ciclo da política pública, o processo avaliativo também pode ser mais ou menos institucionalizado, em alguns casos nem mesmo existindo formalmente e, em outros, sendo definido claramente com normas, prazos e responsabilidades (KNOEPFEL, LARRUE et al., 2007). Independentemente do grau de institucionalização, afirmativas avaliativas e seus indicadores formam o sexto e último produto do Modelo Integrado de Análise de Políticas Públicas, podendo assumir diversas características gerais, conforme a tabela que se segue.
Tabela 6: Características de Afirmativas Avaliativas de Políticas Públicas Característica Descrição da características
Objetivo Afirmativas avaliativas podem avaliar o impacto, a efetividade, a eficiência ou a relevância da política. Natureza das afirmativas
de avaliação
Afirmativas avaliativas podem ser de natureza mais científica ou mais política e ideológicas, sem a preocupação de se estabelecer causalidade objetivamente.
Prospectivas ou retrospectivas
Podem ser mais orientadas ao aprendizado e à projeção do futuro da política (prospectivas) ou à sua análise e auditoria.
Ex-ante, concomitante ou ex-post
Podem ser feitas antes da execução da política (foco na sua coerência legal), concomitante (foco em monitoramento) ou ex-post (foco nos impactos e conseqüências da política).
Parciais ou globais Podem se ater a apenas um aspecto ou uma etapa da política, ou serem mais amplas, abrangendo todos os aspectos e etapas.
Formais ou informais Afirmativas avaliativas podem ser formais, até previstas em leis, com grande peso, ou informais, extra-oficiais.
Substantivas ou institucionais
Podem versar mais sobre questões substantivas da política do que sobre as questões institucionais.
Fonte: Adaptado de Knoepfel, Larrue et al. (2007)
O que determinará, em última instância, que dimensões serão mais enfatizadas ou que características prevalecerão no processo avaliativo de uma política pública é a dinâmica entre os atores envolvidos, é a tradução que prevalecer durante as etapas de avaliação. Caso haja previsão de certos tipos de avaliação em normas legais, essas inscrições também influenciarão as escolhas sobre os tipos de avaliação a serem preferidos. Por outro lado, interesses específicos de determinados atores também motivam as avaliações, podendo haver avaliações independentes.
Autores como Faria (2005), Knoepfel, Larrue et al. (2007) e Wollmann (2008) reconhecem que as avaliações de políticas públicas fazem parte do jogo político, da interação entre atores para conseguir traduzir seus interesses. A Tabela 7, a seguir, traz cinco dessas razões, já enriquecidas pela abordagem da ANT.
Tabela 7: Razões para avaliação à luz da ANT
Razão Influência na tradução
Criar vantagem em relação à informação
Avaliações que só forem do conhecimento de certos atores podem ser utilizadas como instrumentos de negociação por parte desses atores, facilitando sua atuação como protagonistas no processo de tradução dos seus interesses na política pública.
Fortalecer uma posição estratégica
Avaliações podem criar fatos científicos, formar a opinião, facilitando interessamento, envolvimento e mobilização de atores em torno de determinadas posições estratégicas.
Descoberta da verdade; Melhoria gerencial
Apesar de serem supostamente neutras e voltadas ao interesse científico ou de monitoração das atividades do Estado, influenciam os atores envolvidos na política e podem facilitar a tradução de valores e preferências políticas, já que todo relatório de pesquisa, potencialmente, se torna um mediador, um ator no processo político.
Formação de coalizões em
comissões de estudo
O processo de construção de avaliações leva ao surgimento de comunidades de pesquisa e consultoria em torno da temática da política e a sua permanência passa a ser uma razão de ser das avaliações.
Procrastinação do desenrolar da política
Avaliações podem ser contratadas para se ganhar tempo, para se provocar atrasos e consumir tempo, evitando-se que uma
determinada tradução ocorra mais rapidamente do que poderia.
Fonte: Faria (2005), Knoepfel, Larrue et al. (2007) e Wollmann (2008) A tabela mostra que as avaliações, quando não são mera desculpa para se atrasar o processo de tradução, ou para se manter uma coalizão de pesquisadores e consultores, são um processo pelo qual se estabelece novos mediadores, se cria novos fatos científicos, se obtém vantagens para se fazer prevalecer certos pontos de vista em meio à dinâmica de atores de uma política. Até mesmo no jogo político-partidário as avaliações são utilizadas, geralmente com extrapolação das conclusões dos estudos para além da sua validade, com interpretações de generalidade (YIN, 2003) que ultrapassam as possíveis no terreno científico (KNOEPFEL, LARRUE et al., 2007).
3.3.5. Síntese da discussão do Modelo Integrado de Análise de Políticas Públicas