Conforme nos fala Holanda (2008), o processo de criação de indicadores, assim como a tarefa de traduzi-los operacionalmente, incide em uma das mais complexas e demoradas, e explica o porquê. Segundo o autor, isso ocorre basicamente em razão de três aspectos: primeiro, da necessidade de se definir um conceito para cada indicador que se pretende considerar; segundo, a necessidade de especificar a unidade de medida; terceiro, pela identificação da variável ou conjunto de variáveis a serem levantadas.
Cohen e Franco (2012), em estudos sobre indicadores, apresentam uma sequência de quatro fases que permite a transformação dos conceitos em variáveis. A primeira fase considera a representação literária do conceito, isto é, de uma abstração resultante da observação de um dado aspecto da realidade.
Holanda (2008) preocupa-se com essa primeira etapa. Na sua ótica, ela apresenta-se à primeira vista, de forma bastante abstrata e confusa, exigindo esforço por parte de quem deseja executar o processo avaliativo.
Dando sequência à análise de Cohen e Franco, a segunda fase desse processo refere-se à especificação do conceito, que implica dividi-lo em dimensões
que o integram. A dedução dessas dimensões pode ocorrer analiticamente, tendo por base o conceito geral que a envolve ou empiricamente considerando as inter- relações aí implicadas. Com relação a essa etapa, Holanda é bastante enfático ao dizer que se trata um processo de análise, interpretação e desdobramento dos conceitos da avaliação, considerando as suas múltiplas dimensões e reduzindo-as a expressões mais simples e, de preferência, quantitativas. Acrescenta que é uma atividade que deve ser realizada de modo exaustivo para que o conceito seja apreendido em sua totalidade.
A terceira etapa consiste na escolha de indicadores que possam medir as dimensões do conceito. Recomenda-se a o uso de um número significativo de indicadores, tendo em vista assegurar que o conceito sob medição realmente alce o seu objetivo, ou seja, medir e simultaneamente minimizar eventuais efeitos negativos provenientes de uma escolha inadequada de um indicador.
Concluindo essa sequência de fases proposta por Cohen e Franco, encontra- se a formulação de índices para sintetizar os dados abstraídos das fases anteriores. Esses autores, fazendo referência aos estudos de Maintz (1975), colocam que, nesse processo, duas dimensões merecem atenção: uma diz respeito ao fato de que um índice deve referir-se claramente a todas as dimensões parciais do fenômeno correspondente, e a outra é que se faz necessário indicar de que forma os dados serão postos em relação mútua.
Corroborando com as análises dos autores acima, Holanda (2008) relata que essa etapa constitui o momento de relacionar conceitos, dados e informações para construção de indicadores e sublinha a necessidade de que eles sejam simples, pertinentes às dimensões específicas do fenômeno, o qual é perpassado de complexidade, combinando as dimensões em um único indicador. O autor sugere a inclusão de uma quinta etapa, que seria a construção de sistemas de indicadores de uso comum em monitoramento sistemático de evolução de conjuntura e no curso de programas e projetos socioeconômicos.
Outro aspecto relevante no contexto da problematização aqui presente centra-se na natureza dos entes indicados. Jannuzzi (2012), ao discorrer sobre essa particularidade, refere que a diferenciação entre os indicadores é estabelecida a partir de sua natureza, que pode ser de recurso referente a “indicador-insumo”, realidade empírica relacionada a “indicador-produto” e processo em conexão com “indicador-processo”.
Quanto aos indicadores-insumo, diz-se de sua correspondência às medidas associadas à disponibilidade de recursos humanos, financeiros ou de equipamentos alocados para um processo ou programa que afeta uma das dimensões da realidade social. Trata-se de indicadores de alocação de recursos para políticas sociais. Como exemplo, o autor menciona o número de leitos hospitalares por habitantes.
No que se refere aos indicadores-produto, afirma Jannuzzi, eles são aqueles mais diretamente vinculados às dimensões empíricas da realidade social, referentes às variáveis resultantes de processos sociais complexos, como, por exemplo, a esperança de vida ao nascer. Trata-se assim de medidas representativas das condições de vida, saúde e renda da população, que indicam a presença ou ausência das políticas públicas formuladas.
Os indicadores-processo ou fluxo, conforme as análises do autor, são indicadores intermediários, que traduzem em medidas quantitativas o esforço operacional de alocação de recursos humanos, físicos e financeiros para obtenção de melhorias efetivas de bem-estar. Salienta-se que esse tipo de indicador, em contextos específicos, assim como os indicadores de insumo, é chamado também de indicador de esforço.
Ressalta-se aqui uma especial atenção sobre a definição de indicadores- insumo, uma vez que esta é uma pesquisa avaliativa de processo. Assim sendo, os indicadores resultantes desta avaliação estão relacionados com os insumos os quais são fornecidos para execução da política de saúde mental no espaço dos CAPS.
Nessa perspectiva, são válidas as considerações de Holanda (2008) acerca das questões que entrelaçam a dupla dimensão: avaliação de processo e indicadores. Segundo o autor, a avaliação de processo é um tipo de avaliação em que os indicadores estão relacionados com os insumos e com a forma pela qual o programa é implementado.
Cabe lembrar que a realização de avaliações dessa natureza justifica-se quando o processo pode afetar de alguma forma os resultados pretendidos, o que, segundo o autor supracitado, é comum acontecer em áreas como educação, assistência social e saúde, por exemplo. Acrescenta ainda que, nesse caso, importa avaliar alguns aspectos da política ou programa sob estudo, tais como:
Saber de que forma o serviço está sendo prestado, buscando nesse sentido aferir a eficiência das ações voltadas ao público beneficiário;
Medir a intensidade e o nível de frequência com que o serviço é prestado;
Mensurar o nível de qualidade dos serviços, tendo em vista apreender se eles são satisfatórios;
Verificar o nível de competência ou capacidade da equipe prestadora de serviço.
Importa destacar que buscamos, até aqui, fazer uma sintética discussão, mas tão completa quanto possível, sobre a lógica e a metodologia por meio das quais os objetivos de um determinado programa, projeto ou política pública são transformados em indicadores.
Diante desse contexto, e ainda de acordo com as reflexões de Holanda, o momento de seleção de indicadores impõe o estabelecimento de critérios de prioridade, tendo em vista a consecução de indicadores importantes ou adequados. Nessa direção, o autor aponta sete aspectos relevantes e que devem ser considerados durante essa etapa, tais sejam:
1. Referência a temas essenciais da avaliação;
2. Relevância para o processo de tomada de decisão, sobretudo em relação a questões controversas ou pendentes;
3. Utilidade para caracterização de marcos intermediários do programa, visando à identificação imediata de problemas ou atrasos;
4. Atendimento às expectativas ou preferências dos patrocinadores da avaliação ou dos stakeholders (interessados);
5. Viabilidade de relacionar ou comparar com padrões já estabelecidos previamente;
6. Adequação para aplicação ao segmento do universo a ser avaliado; 7. Custo e tempo de apuração ou levantamento.
Aspecto igualmente relevante apontado por Jannuzzi (2012) refere-se às propriedades desejáveis dos indicadores. Conforme nos fala esse autor, a relevância social à qual o indicador se refere constitui um atributo essencial para justificar a sua construção. E acrescenta que, além da relevância social, todo indicador deve ter outras características básicas, que são:
Validade de constructo; Confiabilidade;
Consistência.
No tocante à validade de um indicador, ela ocorre quando este corresponde ao grau de proximidade entre conceito e medida. Dito de outra forma, consiste na capacidade de reflexão sobre o conceito abstrato que o indicador busca operacionalizar e retraduzir para formas mais objetivas.
A confiabilidade de um indicador, de acordo com Jannuzzi (2012, p. 34), “é uma propriedade relacionada à qualidade do levantamento de dados utilizados no seu cômputo”. Um indicador confiável não deve variar suas respostas quando aplicado ao mesmo fenômeno em tempos diferentes. Quanto à consistência em termos de indicador, implica a compatibilidade com outras medidas que se baseiam no mesmo conceito e que já são utilizadas na avaliação. Não deve apresentar viés em relação ao método de apuração.
Holanda (2008), em consonância com as ideias de Jannuzzi (2012), apresenta outras características desejáveis aos indicadores além das referidas nas linhas acima. Assim sendo, atribui significativa importância também aos seguintes elementos:
Relevância; Sensibilidade; Direção.
Na ótica do autor, um indicador possui relevância quando está direcionado aos objetivos e resultados da avaliação, e sua sensibilidade se expressa quando ele é capaz de detectar as modificações no nível do desempenho.
Aqui chamamos atenção para o terceiro elemento: a direção, pois esta, segundo nos relata Holanda, quando a pesquisa avaliativa é de natureza acadêmica, como é o caso do estudo aqui presente, o indicador figura como artifício didático. Parafraseando Holanda, “em pesquisas de natureza acadêmica, o indicador pode ser apenas um instrumento de análise ou artifício didático para facilitar a apresentação das conclusões do estudo” (2008, p. 250).