Öğretmen ve Yöneticilere Göre Sürdürülebilir Başarı

A seguir descrevem-se resumidamente as duas técnicas dos métodos não-experimentais da avaliação de impacto, que serão utilizados dando ênfases nas técnicas do pareamento e regressão descontínua, uma vez que, para fins desta tese, serão utilizadas estas metodologias.

3.3.1 Método diferença em diferença ou diferença dupla.

Este método consiste em comparar um grupo de tratamento e um de controle antes (primeira diferença) e depois de um programa (segunda diferença) (HECKMAN et al, 1998).

3.3.2 Comparações reflexivas.

Nesta técnica realiza-se uma pesquisa de referência junto aos participantes antes da intervenção do programa, com a qual é construído o contrafactual. Logo se realiza uma pesquisa de acompanhamento quando o programa está em andamento. Assim, são comparados os participantes de programa antes e depois da intervenção.

3.3.3 Método das variáveis instrumentais.

Este método utiliza uma ou mais variáveis que influem na participação do programa, mas não nos resultados dada a participação. Identifica a variação exógena nos resultados atribuíveis ao programa, reconhecendo que o estabelecimento não é aleatório, mas intencional16 .

Observação importante:

Com a implementação da técnica de Pareamento por Escore de propensão (PSM) ou Matching de Escore de Propensão, que compara resultados de famílias similares do grupo de tratamento com as do grupo de comparação ou controle, deve-se ter em consideração a diferença que existem entre o termo “Pareamento para o relacionamento de base de dados” e “Pareamento (ou Matching) para a técnica utilizada na avaliação de impacto”. Ambos os

16

Para mais detalhes deste método, do método diferença em diferença ou diferença dupla e comparações reflexivas, ver ANEXO II.

termos mencionados, na sua definição estrita têm significados semelhantes, mas para nosso caso, com o objetivo de diferenciar e clarear as diferenças que existem entre as técnicas aplicadas no trabalho para cada procedimento que tem diferentes propósitos, realiza-se as seguintes observações:

O termo “relacionamento” será utilizado quando nos referimos a relacionamento das bases de dados realizados entre a base da pesquisa AIBF como os registros administrativos do CadÚnico, para não utilizar o termo de pareamento, e tem como objetivo realizar a re- alocação alternativa que se propõe neste trabalho para a distribuição dos grupos de comparação com os registros administrativos.

No entanto, o termo de “Pareamento” será referido para a técnica utilizada na avaliação de impacto dos programas sociais com o escore de propensão, cujo objetivo é construir pares sobre as observações de controle e o tratamento que são similares em termos das características observáveis. Logo, se mensura as diferenças das variáveis de impacto na educação do PBF entre o grupo de tratamento e o grupo de comparação ou controle, isto é, para ambos os procedimentos da alocação das famílias.

3.3.4 Métodos de Paramento (matching)

O método de “Paramento – matching” é uma aproximação não paramétrica para o problema de identificação do tratamento de impacto sobre os resultados. Isto é, no senso geral, nenhuma especificação em particular precisa ser assumida. Além disso, pode ser combinado com outros métodos, produzindo estimativas mais precisas e permitindo suposições menos restritivas. Contudo, o método também se baseia em suposições fortes e exigências sobre o tipo de informação que se precisa. O propósito principal do pareamento é restabelecer as condições de um experimento, quando os dados não estão disponíveis (BLUNDELL e COSTA, 2002).

O pareamento pode ser realizado por indivíduo ou por grupo de comparação. Quando se utiliza o pareamento por individuo procura-se que os pertencentes ao grupo de tratamento sejam comparáveis aos indivíduos do grupo de comparação (controle). O pareamento por grupo é menos exigente, mas requer que os grupos de tratamento e comparação sejam, em média, iguais. Assim o pareamento por indivíduo parece ser mais preciso e proporciona resultados mais confiáveis que o grupo de pareamento por grupo (FREEMAN, ROSSI, e

WRIGHT, 1980). Embora, as aplicações do pareamento por individuo sejam estatisticamente mais desejáveis que o de pareamento por grupo, em geral as avaliações de impacto utilizam o método agregado.

O pareamento consiste em construir pares sobre as observações de controle e tratamento que sejam similares em termos de suas características observáveis. Quando as diferenças relevantes entre duas observações são capturadas nas variáveis observáveis (pré- tratamento), o qual acontece quando o resultado é independente da alocação do tratamento, dada as variáveis pré-tratamento (suposto de independência condicional), então o método pareamento produz uma estimativa não enviesada do impacto do tratamento.

O pareamento é um procedimento simples de aplicar quando poucas características dos indivíduos afetam a variável de impacto e a decisão de participar no programa. Em geral os problemas que procuram resolver os programas sociais estão determinados por mais de duas variáveis, o que dificulta a aplicação do método de pareamento. Além disso, quando o pareamento não inclui todas as variáveis que determinam a variável de impacto e a participação no programa, poderia existir viés na estimação de impacto. Isto devido a que os grupos de tratamento e comparação não seriam estatisticamente comparáveis (RAVALLION, 1999).

Umas das vantagens na estimação do impacto do método de pareamento, é que os grupos de tratamento e comparação não têm necessariamente que se formar antes de iniciar a operação do programa. A outra vantagem é que o método de pareamento não exige que se proíba o ingresso ao programa de indivíduos que são parte da população objetivo da intervenção (RAVALLION, 1999). Em relação às desvantagens, observa que, quando se quantifica o impacto de um programa social com este método, encontram-se diferenças não observáveis entre os grupos de tratamento e comparação, que geram um “viés de seleção”. Este viés gera-se pelo fato de que o ingresso ao programa é uma decisão do beneficiário e não de um processo aleatório como no caso do desenho experimental. Isto implica que as pessoas que decidem participar do programa poderiam ter características não observáveis pelo avaliador que influem na sua decisão de participar e, por sua vez, determinar a variável de impacto do programa.

Para ter maior facilidade na aplicação do pareamento têm sido desenvolvidos modelos econométricos que permitem controlar os efeitos de variáveis observáveis e identificar

aqueles indivíduos que são similares às pessoas que integram o grupo de tratamento. Os modelos de pareamento desenvolvidos estimam a probabilidade dos indivíduos de participar no programa através de modelos probit ou logit, utilizando como variáveis independentes uma série de características socioeconômicas dos indivíduos relevantes ao programa que se avalia. Um tipo particular deste método é a técnica de Pareamento de Escore de propensão (PSM) como um estimador de impacto (DIAZ e HANDA, 2004).

O PSM leva em consideração as diferenças entre os indivíduos que participaram do programa e os que não participaram, e pode ser resumida nos seguintes passos: primeiro, estima-se a probabilidade de que um indivíduo receba o tratamento; segundo, separa-se a amostra em duas sub-amostras, os tratados (os que receberam o tratamento) e os de comparação (os que não receberam o tratamento), e ordenam-se ambas as sub-amostras de forma descendente, e no último passo, para cada indivíduo do grupo de tratamento procura-se um indivíduo do grupo de comparação com similar escore, formando os pares.

O PSM, no transcurso dos estudos de avaliação de impacto realizados, apresentou defensores, mas também detratores. Rosenbaum e Rubin (1983) forneceram um rol central no estudo das relações de causalidade. Dehejia e Wahba (1998) destacaram que o PSM permite estimar com êxito o impacto de programas de trabalho e que se simplifica a tarefa de controlar por diferenças em variáveis prévias ao programa. Estes mesmos autores, em 2002, ressaltaram as boas propriedades do PSM ainda quando tem poucos casos de comparação (controles) com que comparar as unidades (forma mais geral que indivíduos) que receberam o tratamento. Entre os detratores, temos que Heckman, Ichimura e Todd (2003) desenvolveram um método de emparelhamento com base em distribuições de kernel e demonstraram que o PSM não implica necessariamente uma diminuição na variância dos estimadores. Por sua parte, Shadish et al. (2002) indicaram que se requer amostras grandes, com suficiente diferença entre grupos, e que existe algum viés devido ao fato de que o PSM só controla as variáveis observáveis.

Segundo Smith e Todd (2001), o PSM pode ser considerado como uma metodologia adequada se as seguintes condições são cumpridas:

1. A população que vai ser parte do grupo de tratamento e os do grupo de comparação deve pertencer à mesma amostra (ou pelo menos ao mesmo tipo de pesquisa), de tal forma que as variáveis sejam medidas da mesma forma.

2. Ambos os grupos participem do mesmo problema em estudo.

3. As bases de dados contenham um número suficiente de variáveis para modelar a decisão de participar no programa.

Nos últimos anos têm sido produzidos significativos avanços nas técnicas de correspondência do Escore de Propensão. Este método é muito atrativo para os avaliadores que tem restrições de tempo e não dispõem de dados de referência, uma vez que se pode utilizar, contando com apenas dados de corte transversal. Assim, parece que as estimações para dados com PSM, como um estimador de impacto, são levemente melhores que outros estimadores não-experimentais (ROSENBAUM e RUBIN, 1985; JALAN e RAVALLION, 1998).

I. Fundamentos matemáticos do método pareamento e estimadores de escore