Karma Modeller (Birleşik Modeller)

À margem das críticas dirigidas ao NPM e da discussão sobre a validade e a utilidade da mensuração e avaliação de desempenho, uma vez estabelecida a conveniência de sua realização, a primeira decisão a ser tomada é determinar quais são as variáveis que devem ser, regular e sistematicamente, observadas, ou seja, o que é pertinente mensurar e avaliar. Após, é preciso que se tenha uma correta noção dos seus elementos ou categorias, com definições precisas, já que têm implicações e usos diversos (Hatry, 1999, p. 11).

A nomenclatura e as definições a seguir são as oferecidas por Hatry (1999, capítulo 2): • Input é a soma de recursos (financeiros, humanos etc.) realmente utilizados,

independentemente do que consta previsto no orçamento. Quando relacionado com a soma de produtos (outputs) ou de resultados (outcomes), produz indicadores de eficiência ou de produtividade.

• Processo é o trabalho, a soma de atividades, realizadas ou pendentes, no bojo de um programa, que, embora não seja considerado produto ou resultado em si mesmo, pode ser usado para produzir informação sobre eles.

• Produto (output) é o trabalho feito, a soma do que foi entregue, pronto e acabado, após o processo, durante um período determinado.

• Resultados (outcomes) são o impacto dos produtos, os eventos, ocorrências ou mudanças nas condições, comportamentos ou atitudes que indicam progresso em direção ao alcance da missão e dos objetivos do programa.

Resultados intermediários (intermediate outcomes) são resultados alcançados que, embora não sejam aqueles desejados, devem conduzir

a eles.

Resultados finais (end outcomes) são os resultados que se deseja alcançar com o programa.

• Eficiência é a razão do total dos recursos (inputs) empregados, sobre o total de produtos (outputs) ou resultados (outcomes) alcançados.

• Produtividade é justamente a proporção inversa de eficiência, ou seja, a razão do total de produtos (outputs) ou resultados (outcomes) alcançados, sobre o total de recursos (inputs) empregados.

A partir das definições apresentadas, é relevante reforçar que os produtos (outputs) da ação estatal não dizem, por eles mesmos, nada sobre o impacto produzido, embora seja esperado que eles conduzam aos resultados (outcomes) que se almeja. Em outras palavras, os resultados (outcomes) não são aquilo que a ação estatal produziu, mas sim as consequências dessa ação, que se espera sejam na direção dos objetivos do programa e da missão da instituição, aproximando-se da análise da efetividade (HATRY 1999, p. 14 e 15). Na distinção de Arvidsson (1986, p. 628), produtos (outputs) são os resultados diretos da atividade, enquanto que os impactos, aqui denominados resultados (outcomes), são os efeitos desses produtos sobre indivíduos ou grupos de pessoas.

Sendo assim, Hatry (1999, p. 4 e 20) explica que, embora o acompanhamento dos produtos dos programas governamentais já venha sendo feito há décadas, isso diz muito pouco sobre os resultados, sobre os benefícios percebidos pelos consumidores dos serviços públicos e pelos cidadãos em geral. Por essa razão, prega o acompanhamento da performance por resultados de serviços e programas, que, embora já não seja uma novidade, é a esfera de análise mais festejada na atualidade.

A tendência de atenção aos produtos ao invés de consideração dos resultados se repete na utilização dos conceitos de eficiência e produtividade pela relação dos recursos (inputs) com os produtos (outputs), chegando ao que os economistas chamam de “eficiência técnica”. Ao passo que uma imagem bem mais verdadeira de eficiência e produtividade pode ser alcançada a partir da razão dos recursos (inputs) sobre os resultados (outcomes), denominada “eficiência alocativa”, já que, com o foco nos produtos (outputs), é possível que os gestores

consigam o incremento artificial da eficiência e da produtividade às custas da redução da qualidade, o que não seria revelado no índice (idem, ibidem, p. 19).

Não há dúvidas de que a questão da qualidade da atuação estatal é por demais importante para ser desprezada na avaliação da performance. Hatry (ibidem, p. 17) define a qualidade como a medida de quão bem um serviço foi prestado com base em características importantes para o consumidor-cidadão. E enxerga a qualidade como um resultado intermediário (intermediate

outcome), já que, embora possa ser percebida como um impacto desejado do produto entregue

pelo programa, raramente a satisfação dos cidadãos será a razão declarada do serviço prestado.

Por outro lado, em favor da medição com base nos produtos, costuma ser sopesado o argumento de que, frequentemente, os resultados não podem ser inteiramente controlados para que se possa afirmar com segurança que foram produzidos pela ação estatal, somente ou principalmente. Nas palavras de Arvidsson (1986, p. 628, em tradução livre do pesquisador), “é impossível isolar os efeitos de uma atividade estatal de outras ações governamentais e de outras alterações sociais”. Mas defende que esse fato não é razão para se deixar de estudar tais efeitos. Hatry (1999, p. 6, tradução livre) concorda sustentando que “ainda que a relação causal não possa ser asseverada, o programa terá algum crédito pelo resultado desejado” o que permite dizer que “um indicador embasado nos resultados provê uma melhor informação sobre o grau de contribuição do programa para o alcance do objetivo”.

Enfim, para a implementação da avaliação de desempenho na rotina das instituições estatais, Dooren, Bouckaert e Halligan (2010, p. 6 e 7) propõem uma sequência lógica de mensuração – coleta sistemática dos dados; incorporação – integração dos dados aos documentos e procedimentos que constituem o sistema de gestão; e uso – colocação da informação sobre performance a serviço do processo decisório, o que pode ser facilitado pela fixação ou ajuste de padrões a serem alcançados.

Os mesmos autores (idem, ibidem, p.6) apresentam o esquema a seguir como ilustrativo do processo em que a mensuração se apresenta como suprimento da demanda por informação sobre performance para uso, deixando claro que tal demanda e seu suprimento não se ajustam

automaticamente, razão da necessidade da fase de incorporação.

Figura 1: Processo de introdução da informação sobre performance.

Fonte: DOOREN, Wouter V.; BOUCKAERT, Geert; e HALLIGAN, John. Performance Management in the Public Sector. Routledge, 2010.

2.6 Aspectos pontuais sobre mensuração e avaliação da performance dignos de