A literatura especializada apresenta consenso de opiniões em relação ao estabelecimento de critérios para realização de avaliações de políticas e programas sociais. A exigência desses critérios no campo avaliativo se faz necessária para dar sustentação ao julgamento que é inerente à prática de avaliação.
De acordo com a definição trazida pelo Dicionário da Língua Portuguesa, a palavra critério diz respeito à faculdade ou forma de apreciar algo, distinguir, conhecer a verdade, ou seja, um recurso que serve de norma para julgar e auxiliar em decisões.
No campo da avaliação, conforme as reflexões de Holanda (2006), trata-se de um instrumento que permite identificar, de forma resumida, o nível de desempenho, realização ou sucesso já alcançado ou que se pretende atingir na implementação de um determinado programa.
O autor sustenta que existem casos em que os critérios tendem a ser confundidos com os padrões de comportamento, assim como as medidas e os indicadores utilizados para verificação de desempenho. Enfatiza que é fundamental distinguir critérios de padrões, pois se referem a significados diferentes, sendo o primeiro relacionado ao conceito da prática de medir e o segundo operacionaliza a referida medição. Um critério é, portanto, uma variável escolhida com o objetivo de expressar a concepção de como deve ser a prática de avaliar e medir o desempenho de um programa.
Observa-se, a partir da uma revisão de literatura no campo de avaliação de políticas e programas sociais, que o estabelecimento de critérios nesse campo é extremamente diversificado, isto é, vai depender amplamente de alguns elementos pertinentes ao processo avaliativo, tais como: os objetivos a que se pretende a avaliação, a natureza do programa, os interesses dos stakeholders32 e a perspectiva do avaliador.
Os critérios de avaliação, na perspectiva de Holanda (2006), podem ser percebidos sob dois aspectos: um referente à avaliação de eficiência econômica, em que são utilizados padrões sistemáticos de seleção de projetos e mensuração de
32 O termo stakeholders, em inglês,
de forma simplificada remete ao sentido de interessados. “Stake” (interessados) e “holder” (aquele que possui). Na definição de Holanda (2006), o termo serve para indicar o cidadão, cliente ou usuário de um determinado serviço público, que tem interesse nos resultados da ação pública.
resultados estritamente voltados aos aspectos econômicos, a maximização dos lucros; o outro, numa perspectiva mais gerencial, é atinente à avaliação de desempenho, ao qual será dada ênfase neste estudo.
Em razão dos problemas enfrentados no âmbito das políticas públicas sociais, recomendam-se avaliações contínuas de cunho gerenciais, não se limitando às questões de ordem da economia, diferentemente das avaliações de eficiência econômica.
Nessa direção, observa-se com frequência na literatura sobre avaliação menções acerca das dimensões a que se pretende em termos de desempenho, quer seja institucional ou de programas sociais. Tais dimensões são traduzidas pelos conceitos de eficiência, eficácia e efetividade dos programas sociais.
O conceito de eficiência, segundo referem Cohen e Franco (2012), é predominantemente utilizado para realizar análises financeiras, estando relacionado à concepção de ótimo, ou seja, quantidades mínimas de recursos utilizados para produzir uma determinada quantidade de produto. Ao ser introduzido a esse processo o custo dos insumos (todas as despesas e investimentos), ocorre a homogeneização dessa dimensão e passa-se a conceber a eficiência. Nesse sentido, a eficiência é definida como a relação entre os produtos e os custos dos insumos.
Na ótica de Arretche (2007), a avaliação de eficiência refere-se à relação entre o esforço empreendido na implementação de uma determinada política ou programa social e os resultados alcançados. Aprofundando essa análise, a autora refere que em sua opinião esse tipo de avaliação no contexto da sociedade brasileira se apresenta como a mais importante e urgente das avaliações em função da insuficiência de recursos públicos a exigir máxima racionalização de gastos, uma vez que o contingente populacional a ser contemplado pelos programas sociais é de grande magnitude.
Ainda conforme Arretche, no âmbito governamental se impõe a necessidade de avaliação de eficiência, visto que, ao dispor dos recursos para implementar políticas públicas, o Estado faz uso de um recurso que não é seu, e sim do contribuinte. Concordamos com a autora, pois, dessa forma, ao se realizar esse tipo de avaliação, implica a diminuição dos riscos de improbidade e desperdícios dos recursos públicos, além de se constituir também em um instrumento democrático, permitindo haver transparência nas ações governamentais.
A autora ressalta ainda, com base no exposto acima, que há uma diferenciação entre o critério de eficiência no setor público e no setor privado, isto é, no setor público não se trata do rigor entre custos os mais reduzidos possíveis e os resultados alcançados (os melhores), tal como ocorre no setor privado. No setor público se interpõem questões como redução de desigualdades, por exemplo, o que poderia justificar uma política compensatória – o que não está de acordo com a noção de eficiência, a qual, como já dito, busca reduzir ao máximo os custos. Mesmo assim, a referida avaliação, na concepção da autora, “não elimina a necessidade de aplicar uma política de subsídios com maior grau de eficiência possível, eliminando custos desnecessários e não condizentes com o princípio da equidade” (ARRETCHE, 2007, p. 36).
No tocante à avaliação de eficácia, torna-se pertinente refletir o conceito à luz das análises de Chiavenato (2011), para quem a eficácia é uma medida normativa cujo objetivo é alcançar resultados, ao passo que a eficiência é uma medida normativa de utilização de recursos no referido processo.
Na concepção de Arretche (2007), a avaliação de eficácia busca aferir a relação entre as metas propostas e as metas alcançadas por um determinado programa ou entre os instrumentos previstos à sua implementação e aqueles realmente empregados.
A autora acima salienta que esse tipo de avaliação, do ponto de vista financeiro, é a que se apresenta menos onerosa – portanto, é a mais factível. Contudo, traz como limite mais importante do processo a obtenção e a confiabilidade das informações. Isso porque o avaliador, com base nas informações disponíveis, estabelece uma equação entre as metas propostas pelo programa e as metas atingidas. O resultado dessa equação implicará o sucesso ou não do programa que se pretendeu avaliar.
Na perspectiva de Cohen e Franco (2012), a eficácia operacional é o grau alcançado pelos objetivos e metas propostos por um determinado projeto junto à população beneficiária dentro de certo período de tempo e sem estar sujeito aos custos empreendidos. Nesse sentido, considera dois aspectos importantes: metas e tempo.
Holanda (2006), ao trazer a definição de eficácia, menciona um exemplo que é particularmente interessante e facilita na elucidação do referido conceito. Assim sendo, menciona que, se uma empresa consegue obter bons resultados naquilo que
se propôs a produzir, isso faz dela uma empresa eficiente. Mas, caso essa mesma empresa tenha fracassado na venda desse produto, poder-se-ia dizer que a empresa foi eficiente, mas não foi eficaz.
Dando continuidade à sua análise, o autor acima faz referência aos cientistas sociais que, segundo ele, indagam sobre o fato de os resultados alcançados pelas políticas e programas sociais trazerem transformações sociais nas condições de vida das pessoas. Essa percepção remete ao terceiro tipo de avaliação: efetividade.
A avaliação de efetividade, de acordo com Arretche (2007), diz respeito à apreciação da relação estabelecida entre a implementação de um programa e seus impactos, ou seja, o sucesso ou fracasso em relação às efetivas transformações nas condições sociais da população, tomando como referência a situação anterior ao programa.
Do ponto de vista metodológico, a principal dificuldade percebida pela autora em relação à avaliação de efetividade refere-se a esta ter de demonstrar que os resultados encontrados (de sucesso ou não) estão causalmente relacionados aos produtos oferecidos por uma dada política sob análise. Dito de outra forma, o que irá determinar o impacto de uma dada população pela via da política pública é o estabelecimento de objetivos operacionais e de modelo causal que permita vincular o projeto com os efeitos (ARRETCHE, 2007).
Cabe notar que existe na literatura especializada certo consenso de opiniões em relação aos conceitos de eficiência e eficácia, ao contrário da concepção de efetividade. Nesse sentido, concordamos com autores com Holanda e outros ao observarem que existem diferentes interpretações acerca desse tipo de avaliação. Uma delas refere-se, por exemplo, à noção do conceito como o somatório da eficiência com a eficácia, numa perspectiva de análise mais econômica; a outra, de cunho mais social e mais abrangente, apresenta-se como mais adequada ao setor público e visa a aferir os impactos trazidos pelas políticas e programas a uma dada população.