Esas Sözleşmeye İlişkin Bilgiler

Um programa ou política de intervenção visa produzir mudanças no bem-estar dos beneficiários. Ao se fazer uma análise ex post da situação dos beneficiados, observa-se o resultado desta intervenção em termos de aumento do emprego, da renda, das despesas familiares, etc. Porém, cabe questionar se tais mudanças se relacionam diretamente com a intervenção. De fato, com apenas um ponto de observação, após o tratamento, não é possível chegar a uma conclusão sobre o impacto. Na melhor das hipóteses, pode-se dizer se o objetivo da intervenção foi cumprido. Mas o resultado após a intervenção não pode ser atribuído ao próprio programa (GERTLER et al., 2011; KHANDKER; KOOLWAL; SAMAD, 2010).

O principal desafio de uma avaliação de impacto é determinar o que teria acontecido com os beneficiários se o programa não tivesse existido. Ou seja, se, por exemplo, uma determinada política pública objetivasse o aumento da renda per capita dos benefíciários, seria necessário determinar a renda domiciliar per capita dos beneficiários na ausência da intervenção para se avaliar o impacto do programa. O resultado do beneficiário na ausência da intervenção seria seu contrafactual. Em termos formais, o impacto do programa seria:

| | (1) Esta fórmula nos diz que o impacto () de um programa (T) na renda per capita(Y) é a diferença entre a renda per capitacom o programa (quando, T=1) e a renda per capita sem o programa (quando, T=0). O segundo termo da equação acima (Y|T=0) representa o contrafactual.

A equação acima explicita o problema da avaliação, pois, enquanto o impacto do programa (independente de outros fatores) pode realmente ser avaliado apenas comparando os resultados reais e contrafactuais, o contrafactual, por sua vez, não é observado. Assim, o desafio de uma avaliação de impacto é de criar um grupo de comparação convincente e razoável para beneficiários de modo a se estimar a expressão (Y|T=0). Idealmente, se deveria comparar como o mesmo agregado familiar ou indivíduo teria saído com e sem uma intervenção ou "tratamento", mas não se pode fazê-lo porque, em um determinado ponto no tempo, uma família, ou um indivíduo, não pode ter duas existências simultâneas. Deste modo,encontrar um contrafactual adequado constitui o principal desafio de uma avaliação de impacto (KHANDKER; KOOLWAL; SAMAD, 2010). As figuras a seguir colocam de forma mais simples dois problemas de escolha do grupo de comparação (também chamado de grupo controle) e o viés na conclusão dos resultados.

Na Figura 1, é apresentado o caso de uma avaliação do grupo de participantes do programa utilizando dados do nível de renda anterior ao programa. Este caso ilustra bem o porquê não se deve simplesmente comparar as rendas dos indivíduos ou famílias antes e depois do programa, pois não se tem conhecimento do nível de renda final que as famílias teriam na ausência do programa. Assim, neste caso, o impacto do programa poderia ser superestimado (Y2– Y0), quando na realidade seria (Y2– Y1).

Na Figura 2, suponha que antes da intervenção do programa a renda média do grupo tratamento seja de Y0 e após o tratamento seja Y4, o grupo controle teve sua renda média

verificada apenas no período após o tratamento. Neste caso, sua renda foi Y3, realizando-se

uma comparação não criteriosa, poder-se-ia chegar à conclusão de que o impacto do programa foi (Y4 – Y3). Tal conclusão subestima o impacto real do programa definido pela distância (Y4 – Y2), pois este foi o incremento de renda real do grupo pesquisado, este problema ocorre por

seleção viesada do grupo controle. Neste caso, desconsideraram-se diferenças de renda pré- programa.

Fonte: KHANDKER; KOOLWAL; SAMAD (2010, p.24)

Fonte: KHANDKER; KOOLWAL; SAMAD (2010, p.23)

Os problemas apontados acima exemplificam o que, na literatura sobre o assunto, é conhecido como viés de seleção. Pode-se abordar a mesma questão em uma estrutura

Programa Contrafactual Controle Participantes Tempo Y4 Y3 Y2 Y1 Y0 R e n d a Programa Participantes Impacto? Tempo Y2 Y1 Y0 R e n d a Impacto Figura 1 - O problema da ausência do contrafactual na avaliação de impacto de uma política pública

Figura 2 - Avaliação de impacto mediante comparação entre grupos tratamento e controle na presença de diferenças pré-programa

conceitual mais formal. Suponha um programa de combate à pobreza, como a intervenção por microcrédito. Ao definir Yi como a renda per capita da família i, seja T uma variável dummy

que assuma dois valores, (T = 1) se o indivíduo ou grupo familiar participa do programa e (T = 0) se não participa. Para o grupo participante do programa (grupo tratamento), define-se a renda como sendo Yi(1), para o grupo dos não participantes representa-se a renda como Yi(0).

Assim, o efeito médio do programa pode ser definido comparando a renda dos dois grupos, em termos formais, seria:

| | (2)

O problema é que as características socioeconômicas, locacionais, culturais, etc. (tais fatores serão doravante nomeados de covariáveis e representados por Xi) dos grupos participantes e não participantes podem não ser as mesmas, antes da intervenção, de modo que a diferença esperada entre esses grupos pode não ser inteiramente devida à intervenção do programa.

Ao se adicionar e subtrair da eq. (2) a renda média do grupo não participante se os mesmos tivessem participado do programa, | , tem-se:

| | [ | | ] (3) Reordenando os termos: [ _⏟ | | ] [ _⏟ | | ] (4)

Na equação acima, o termo ATE (Average Treatment Effect) representa o efeito médio do tratamento, ou seja, o ganho médio de renda dos participantes em relação aos não participantes se estes tivesse sido “tratados” pelo programa, o segundo termo da equação (2) representa o grau do viés de seleção18, que surge no uso de D como uma estimativa do ATE, como | é desconhecido, pode não ser possível conhecer a diferença exata entre o grupo tratado e o grupo controle.

Assim, uma sólida avaliação de impacto deve buscar alternativas para a seleção do grupo controle que possa garantir um viés de seleção igual a zero, ou possibilitar corrigi-lo. É importante ressaltar que o viés de seleção desapareceria na hipótese dos resultados obtidos

18

O viés de seleção é consequência da escolha não aleatória dos participantes de um programa (ROSENBAUM; RUBIN, 1983).

pelos beneficiários do programa serem independentes das covariáveis (Xi)

19

, o que implicaria em processos aleatórios de seleção dos beneficiários do programa (KHANDKER; KOOLWAL; SAMAD, 2010; ROSENBAUN; RUBIN, 1983).