Numa abordagem recente uma intervenção pode sofrer uma avaliação do tipo pesquisa avaliativa que é elaborada a partir de um conhecimento científico que busca estudar cada um dos componentes da intervenção, em relação a normas e critérios que podem advir de uma pesquisa, seja avaliativa ou não. É o procedimento que permite fazer um julgamento ex-post de uma intervenção utilizando métodos científicos. Através do exame de um procedimento científico, a pesquisa avaliativa busca avaliar as relações existentes entre os diferentes componentes de uma intervenção. É empregado para avaliar a efetividade do programa e seus resultados; medir e demonstrar o impacto do programa e propor futuras ações.
Em uma pesquisa avaliativa podem ser realizadas diversas análises. Para Contandriopoulos et al, 1997 este tipo de pesquisa pode ser dividida em seis diferentes tipos de análise:
a) estratégica: estuda a pertinência da intervenção empregada, isto é a adequação entre a intervenção e a situação problema que deu origem a esta intervenção;
b) de intervenção: analisa a relação entre os objetivos da intervenção e os meios empregados, isto recursos humanos, atividades desenhadas;
c) de produtividade: analisa o modo de utilização dos recursos em relação aos serviços produzidos;
d) dos efeitos: avalia a influência (eficácia) dos serviços sobre os estados de saúde; e) do rendimento: analisa os recursos empregados com os resultados obtidos,
associando análise de produtividade econômica com análise de efeitos.
f) da implantação: mede inicialmente a influência da variação no grau de implantação da intervenção em diferentes contextos. Posteriormente mede os efeitos da interdependência que pode haver entre o contexto, o ambiente no qual a intervenção está implantada e a intervenção em si. Neste tipo de análise é recomendado o emprego de estudos de casos.
A pesquisa avaliativa, segundo Hartz (1999b), vem sendo criticada por não levar em consideração as modalidades de implantação nos diferentes contextos nem os mecanismos intervenientes associados a esses efeitos.
1.4.1. DOS MODELOS TEÓRICOS AO MODELO LÓGICO
A necessidade de ser utilizada na administração pública uma gestão por resultados, avaliando os efeitos de suas intervenções, levou os países desenvolvidos a passar a adotar modelos teóricos de avaliação, conhecidos como Modelos Lógicos de Avaliação. No Canadá a partir de 1980, passou a ser uma exigência governamental a utilização de modelos teóricos, na construção de um instrumento de avaliação que auxilie os avaliadores na avaliação de programas, seja de implantação, de processo ou de resultados. Para Henness (1995) a importância de um modelo teórico é de tal ordem, que só poderiam ser realizadas avaliações de programas que tivessem claro suas teorias, medidas ou indicadores correspondentes.
A construção de um modelo teórico é a estratégia de operacionalização de um desenho de uma pesquisa científica. Este modelo descreve teoricamente em um quadro, a funcionalidade de um programa através de uma síntese de seus principais componentes. Resume o mecanismo de funcionamento do programa através de uma seqüência de passos unindo o processo aos resultados, levando em consideração a interação dos efeitos de seus componentes com o impacto do referido programa.
Permite também mostrar a infra-estrutura necessária para a operacionalização do programa. Ele denota os princípios que dizem respeito às condições para a sua efetividade e fornecem uma estrutura de referência para avaliações (CDC, 1999).
Para Foulkes, citado por Hartz (1999b), o modelo teórico permite definir previamente não apenas o que vai ser realizado, mas como e quando os objetivos precisam ser alcançados. Para o autor os julgamentos qualitativos baseiam-se em evidências e não apenas na agregação de números como na estatística.
Na construção do modelo teórico, segundo Reynolds (1998), devem ser considerados: “ a) o problema ou comportamento visado pelo programa, as condições do contexto e a população alvo; b) o conteúdo do programa ou atributos necessários e suficientes para produzirem isolada e/ou integradamente os efeitos esperados”. Esta construção pode originar-se de várias fontes como teorias das ciências sociais, resultados de pesquisas preliminares ou ainda da experiência de avaliadores e gestores. O programa então pode ser tratado na particularidade de cada sub programa ou em sua totalidade, tendo não apenas um único efeito, mas um conjunto de efeitos lógica e hierarquicamente articulados em uma série de “se-então”, associando recursos, atividades produzidas e resultados de curto e longo prazo (Hartz, 1999b).
Um modelo lógico pode ser composto por vários elementos, mas na grande maioria as partes que o compõem são as atividades, os insumos (inputs), os produtos (outputs) e os efeitos (outcomes) imediatos, de médio e longo prazo (Hartz et al, 1997; CDC, 1999). Este modelo permite definir um conjunto de indicadores que compreendam as atividades do programa e seus efeitos esperados. Para cada fase do modelo são construídos indicadores quanti-qualitativos para que os dados e as informações existentes possam ser utilizados de modo sistemático, no ajustamento do conceito em questão. Estabelecer uma relação entre os indicadores e o modelo lógico agiliza o desenvolvimento de pequenas mudanças no desempenho do programa ao invés de empregar uma medida de um único efeito (outcome). Como o processo de avaliação é dinâmico, novos indicadores podem ser criados ou podem ser ajustados aos indicadores já existentes (CDC, 1999).
Os indicadores utilizados em uma avaliação são importantes para garantir a credibilidade da informação, por traduzirem os conceitos contemplados no programa, seu contexto e seus efeitos esperados, dentro de uma medida específica que permita sua interpretação. Os indicadores são fundamentos para a coleta de evidências confiáveis e válidas aplicáveis em uma avaliação. A construção do modelo lógico favorece a seleção e aplicação de indicadores múltiplos, na avaliação tanto da implantação, dos efeitos ou
dos resultados de um programa (CDC, 1999). A necessidade de elaborar modelos lógicos baseia-se em considerar a modalidade de implantação em contextos e os mecanismos intervenientes associados a esses efeitos.
Em síntese, pode se dizer que a avaliação é formada de modelos lógicos que possuem uma descrição de problemas, uma análise e um julgamento de valor sobre uma intervenção. Este julgamento não se baseia apenas na realização de uma avaliação normativa que utiliza critérios e normas, mas principalmente é resultante de uma pesquisa avaliativa, que adota métodos científicos para a tomada de decisões.