Oyun’da karnavallaşma ve gülme

No livro “Designing Social Inquiry: Scientific Inference in Qualitative Research” (1994), o ponto central defendido por King, Keohane e Verba (KKV) é o de que toda pesquisa científica, seja ela quantitativa ou qualitativa, deveria atender a certos critérios metodológicos básicos, comuns a ambos os tipos de pesquisa. E, particularmente no caso dos pesquisadores qualitativos, de modo a gerarem inferências válidas, eles deveriam procurar estar em melhor sintonia com estas questões metodológicas do que tradicionalmente vêm fazendo (p.229-230). Particularmente no caso da inferência causal, que nos interessa mais de perto nesse estudo, King, Keohane e Verba (1994: p.85) definem causalidade em termos do efeito causal médio, entendido como a diferença entre o componente sistemático na variável dependente quando a variável causal (ou variável explicativa chave) assume dois valores diferentes. O quadro 13 ilustra, de modo simplificado, o enfoque para causalidade apresentado pelos autores.

Quadro 13 – Um enfoque simplificado da causalidade Modelo geral: E(Yi) = ββββiXi Um exemplo simplificado: ⇒ ⇒ ⇒ ⇒ E(Y1) = ββββ1X1 + ββββ2X2+ ββββ3X3 +...+ ββββnXn onde....

E(Y1) = Variação média (ou “componente sistemático”) da variável dependente em função de variações em X1, obtidas por meio de replicação do experimento. X1 = Variável causal ou explicativa-chave

β1 = Efeito causal médio de X1 em Y1

β2X2+ β3X3 +...+ βnXn = Variáveis explicativas de controle

Fonte: King, Keohane e Verba, 1994: p. 84; 96; 175. Elaboração própria.

Ao adotarem o modelo de regressão, nem de longe aqueles autores tiveram a pretensão de se aprofundarem nos complexos meandros da cadeia hierárquica das causalidades como, por exemplo, vem fazendo Pearl (2000), que desenvolve uma abordagem eminentemente quantitativa (gráfica e matemática) da causalidade, buscando avançar na linha dos modelos de equações estruturais43.

Importante ter claro que, quando King, Keohane e Verba (1994) sistematizam a idéia da causalidade sob a forma de um modelo de equação de regressão, o objetivo deles é buscar auxiliar na compreensão da lógica da causalidade mediante a sistematização, de modo simplificado e claro, dos vários fatores intervenientes no fenômeno estudado. Mesmo porque eles também estão conscientes das limitações dos modelos de regressão para tratar a causalidade nas pesquisas quantitativas, na medida em que, como eles próprios afirmam, somente algumas vezes os coeficientes de regressão coincidem com as estimativas dos efeitos causais (KKV, p.97).

Entendemos que, uma vez que a lógica da causalidade seja bem compreendida, só assim ela poderá ser, em um segundo momento, bem trabalhada com dados qualitativos, que são as falas e as argumentações dos entrevistados.

Evidentemente uma simplificação de fenômeno tão complexo como é a questão da causalidade não pode ser aceita sem os devidos cuidados conceituais e metodológicos. A seguir, mencionamos alguns desses cuidados.

Pedhazur e Schmelkin (1991: p.695-699) apontam para o risco do deslumbramento com o avanço das técnicas analíticas (estatísticas, matemáticas, etc...) em detrimento da teoria, isto é, de um maior amadurecimento do modelo teórico causal. Para eles, o tema da causalidade esteve sempre presente na pesquisa científica ao longo dos tempos, porém sempre carregado de muita controvérsia no campo da filosofia e das ciências, um verdadeiro labirinto da lógica. Estes autores chamam a atenção para o fato de que o advento recente das

43 _{Com base em técnicas de interdependência das variáveis observacionais (matriz de variâncias e covariâncias),} os modelos de relações estruturais buscam identificar a existência de causalidade entre estas variáveis e/ou entre os constructos constituídos a partir delas. O software LISREL (Linear Structural Relations), de Joreskog & Sorbom (1989), vem sendo um dos mais utilizados para esse tipo de análise.

poderosas técnicas analíticas dos modelos de equações estruturais podem estar induzindo ao crescente uso inadequado e pouco crítico dos modelos causais. A sofisticação do estado-da- arte metodológica estaria exercendo um papel tão irresistível nos analistas a ponto de tender a abafar o seu julgamento crítico. Daí, eles enfatizam o papel fundamental de um modelo teórico prévio a iluminar todo procedimento metodológico que busque identificar relações de causalidade.

Seguindo, pois, essa orientação feita por Pedhazur & Schmelkin (1991), fomos buscar nos vários estudiosos de avaliação social (Cohen & Franco, 1998: p.80, 92, 119; Mokate: abr.2000: p.18-19; Weiss, 1998: p.86-87; Rossi, Freeman e Lipsey, 1999: p.102; Cano: 2002: p.13-16) a justificativa teórica para a nossa abordagem da avaliação social de impacto enquanto aplicação de inferência causal.

Do enfoque de regressão proposto por King, Keohane e Verba (1994) para a inferência causal, decorre que na avaliação de impacto o que buscamos é identificar o efeito causal médio (β1) do programa (variável causal X1) nas transformações observadas no ambiente social (variáveis dependentes Yi), ou seja, até que ponto estas transformações podem ser consideradas como efeito(s) causal(is)médio(s) do programa social. É esta relação de causalidade que vai representar a nossa hipótese causal central a ser testada, na avaliação da eficácia pública da ação social das empresas privadas.

Na inferência causal, nunca podemos ter certeza, apenas indicação de probabilidade. Holland44 (1986), apud King, Keohane e Verba (1994: p.79), referiu-se a esta limitação como sendo o Problema Fundamental da Inferência Causal. A idéia subjacente é a de que, para termos certeza quanto aos efeitos de um dado programa social, seria preciso que o mesmo grupo de pessoas pudesse participar do programa e, ao mesmo tempo, pudesse não participar. Obviamente, isto não é possível. Mas só sob estas condições é que se poderia ter certeza quanto aos resultados do programa, pois somente dessa forma existiria garantia quanto à não- influência dos chamados fatores confundidores, relacionados ao viés de seleção e as mudanças endógenas.

Justamente para contornar este Problema Fundamental da Inferência Causal, King, Keohane e Verba (1994: p.91-97) discutem os dois pressupostos básicos da inferência causal, que devem nortear sempre as pesquisas qualitativas de avaliação de impacto. São eles: o

44 _{HOLLAND, Paul. Statistics and causal inference. Journal of the American Statistical Association 81: 945-} 960, 1986.

princípio da “unidade homogênea” e o da “independência condicional”. Estes pressupostos representam os alicerces da construção teórica da inferência causal.

O pressuposto da “unidade homogênea” considera que, para a inferência causal, as unidades de observação devem ser idênticas em todos os seus aspectos relevantes, com exceção dos valores assumidos para a variável causal (participação e não-participação dos projetos sociais). Obviamente que, na prática, este princípio não é plenamente atingido; para o avaliador, porém, é de extrema importância ter consciência e saber lidar com o grau de heterogeneidade dos casos de sua amostra.

Já o pressuposto da “independência condicional” estabelece que os valores atribuídos às variáveis explicativas devem ser independentes dos valores assumidos pelas variáveis dependentes. Na prática, porém, o avaliador não tem como manipular as variáveis explicativas; ele simplesmente as observa (p.185). Por exemplo, no caso da avaliação de impacto, a alocação das pessoas para os grupos do experimento e de controle nem sempre depende do crivo do avaliador; e quando isto acontece, surge o problema do viés de seleção dos casos - de primeira e/ou de segunda ordens.

Além desses dois pressupostos básicos, outro aspecto central na inferência causal com dados qualitativos diz respeito ao desenho da amostra.

Na pesquisa quantitativa, as amostras são, em geral, grandes e baseadas no critério da aleatoriedade45. A aleatoriedade é um recurso poderoso que possibilita um procedimento de seleção dos casos que é automaticamente não-correlacionado com as variáveis envolvidas na inferência causal (KKV,1994: p.124). Ou seja, a seleção aleatória praticamente elimina o problema do viés de seleção dos dados.

Já na pesquisa qualitativa, as amostras são, em geral, pequenas e nem sempre a seleção aleatória é a estratégia mais apropriada (King, Keohane e Verba, 1994: p.124-125; 139). Ou porque a seleção aleatória não é viável, pois não se tem claramente especificado o universo dos casos. Ou porque os avaliadores se recusam a correr o risco de deixar de fora da amostra alguns casos relevantes, o que certamente ocorreria se a seleção fosse aleatória – assim, segundo estes avaliadores qualitativos, certamente haveria um empobrecimento da análise se, no estudo das revoluções, não fosse incluída a Revolução Francesa. As amostras tendem a ser,

45 _{Seleção aleatória pressupõe que cada unidade tenha igual probabilidade de ser selecionada para a amostra e} que as sucessivas escolhas sejam independentes, tal como acontece quando os nomes são retirados com reposição de dentro de um chapéu (KKV, 1994: p.124).

pois, intencionais, baseadas no conhecimento a priori do avaliador sobre algumas variáveis relevantes, sejam elas dependentes ou independentes (explicativas).

Mas, como advertem King, Keohane e Verba (1994: p.128), abandonar a aleatoriedade abre a porta para as muitas fontes de viés.

O exemplo mais óbvio é quando, conhecendo os resultados da pesquisa que gostaríamos de encontrar (confirmação da hipótese favorita), sutilmente ou às vezes nem tão sutilmente, selecionamos os casos que representam uma combinação de resultados para as variáveis independente e dependente que dão suporte à nossa conclusão favorita. Suponha, por exemplo, que acreditemos que os investimentos dos norte-americanos nos países do terceiro mundo sejam a principal causa de violência interna. Então, selecionamos um grupo de países com investimentos significativos dos Estados Unidos e nos quais a violência interna seja alta; e um outro grupo de países onde não existam tais investimentos e nem violência. Existem outros países que ilustram outras combinações (como altos investimentos e nenhuma violência; ou baixos investimentos e muita violência), mas estes casos foram “convenientemente” deixados de fora da amostra.

Como ilustra este contundente exemplo, a decisão quanto aos casos que devem compor a amostra assume, na pesquisa qualitativa, papel crucial para os próprios resultados que serão encontrados e para o grau de determinação46 e confiabilidade desses resultados.

Após estudarem as várias possibilidades de desenho da amostra, os autores concluíram que a melhor alternativa é a seleção com base na variável explicativa-chave sugerida pela teoria ( isto é, a variável causal), deixando livre a variável dependente. Somente durante a pesquisa, os valores para a variável dependente serão encontrados, e aí a inferência causal poderá ser feita, a partir da distribuição dos resultados da variável dependente para cada uma das categorias da variável causal. (KKV, 1994: p.137; 140;149).

King, Keohane e Verba (1994: p. 142-149) apontam também as fragilidades e fontes de viés inerentes às demais possibilidades de seleção intencional dos casos, como:

(1) Seleção das observações com base em ambas as variáveis, explicativa e dependente: é muito perigoso quando se seleciona intencionalmente os casos com base simultaneamente nas variáveis explicativa e dependente, pois se torna muito fácil incorrer em viés, inadvertidamente ou não.

46 _{Em relação à identificação de indeterminação nos desenhos de pesquisa, existe uma notável diferença entre as} pesquisas quantitativa e qualitativa. Na primeira, o problema é facilmente detectado, pois o programa de computador não roda e, portanto, não gera as estimativas. Já na pesquisa qualitativa, não existe uma solução tão automática para a identificação da indeterminação. Porém, estar ciente do problema e saber identificá-lo ajuda na busca de soluções. Duas situações caracterizam os desenhos de pesquisa indeterminados: (1) ter mais inferências a serem feitas (Xi ) do que casos observados (n); (2) existência de multicolinearidade, ou seja, quando duas ou mais variáveis explicativas são perfeitamente correlacionadas entre si. (King, Keohane e Verba, 1994: p.118- 124)

(2) Seleção das observações, mantendo constante a variável causal: trata-se de um enfoque obviamente deficiente, pois como se pode testar o efeito causal de uma variável explicativa que não varia?!

(3) Seleção das observações, mantendo-se constante a variável dependente: também não se pode conhecer nada sobre efeito causal, a partir de um estudo em que os casos são selecionados de modo que os valores da variável dependente não variam. A este respeito, os autores comentam o trabalho de Porter47, que estava interessado no estudo das vantagens competitivas das nações, mas fez uma amostra intencional contendo apenas casos de países bem sucedidos. Ou seja, ao não analisar também os casos de fracasso, Porter não teve como saber se suas hipóteses acerca das vantagens competitivas estavam totalmente corretas, ou completamente erradas, ou como se situavam neste intervalo.

Mesmo reconhecendo as dificuldades e limitações para o uso das amostras aleatórias

na pesquisa qualitativa, King, Keohane e Verba (1994: p. 198-199) defendem a aleatoriedade como forma de se evitar a tendenciosidade na seleção dos casos para a amostra. Para eles, a seleção aleatória dos casos baseada na variável causal representa, sem dúvida alguma, o melhor desenho para compor as amostras – é por isto que se deve envidar esforços para viabilizá-lo. Porém, eles alertam que, quando este tipo de desenho não for possível dado o número muito pequeno de casos, não se deve forçar soluções - e aí, a amostra intencional deve ser utilizada, evidentemente que com os devidos cuidados.

No que se refere à definição do tamanho de amostra nas pesquisas qualitativas, King, Keohane e Verba (1994: p. 213-217) propõem uma fórmula baseada na variância não- explicada da variável dependente, ou variância fundamental (α2 _{(Y)), na relação de} colinearidade entre a variável causal e as demais variáveis explicativas de controle (R2 (x1/xi)), na variância da variável causal (S2 (x1)) e no grau de incerteza (ou variância) da inferência causal a ser tolerado (V(b1)). Eles afirmam que supondo a situação menos complicada possível - aquela com baixo nível de variância fundamental, elevada variância da variável causal, nenhuma correlação entre a variável causal e as variáveis de controle, e com elevado grau de incerteza tolerado para a inferência -, poucas observações serão necessárias: provavelmente mais do que cinco, porém menos do que vinte.

Consideramos que, no caso da pesquisa qualitativa, essa orientação de inspiração quantitativa proposta por King, Keohane e Verba (1994) para a definição do tamanho da amostra não se mostra adequada. Pela simples razão de que a fórmula sugerida não é aplicável, pois não existem valores numéricos na pesquisa qualitativa. Também o tamanho sugerido pelos autores para a situação menos complicada nos pareceu algo bastante arbitrário, sem nenhum embasamento convincente. Por isso, defendemos que o critério da saturação teórica, conforme apresentado por Bauer e Aarts (2002: p.56-60) e Gaskell (2002: p.70-71), mostra-se mais indicado para as pesquisas qualitativas. Senão, vejamos o que diz este último autor,

O “número de entrevistas necessárias” depende da natureza do tópico, do número dos diferentes ambientes sociais que forem considerados relevantes e, é claro, dos recursos disponíveis. Contudo, há algumas considerações gerais que guiam a decisão. Um ponto-chave que se deve ter em mente é que, permanecendo todas as coisas iguais, mais entrevistas não melhoram necessariamente a qualidade, ou levam a uma compreensão mais detalhada. Há duas razões para esta afirmação. Primeiro, há um número limitado de interpelações, ou versões, da realidade. Embora as experiências possam parecer únicas ao indivíduo, .... as representações de um tema de interesse comum, ou de pessoas em um meio social específico são, em parte, compartilhadas. Isto pode ser visto em uma série de entrevistas. As primeiras são cheias de surpresas, e as diferenças entre as narrativas são chocantes.... Contudo, temas comuns começam a aparecer, e progressivamente sente-se uma confiança crescente na compreensão emergente do fenômeno. A certa altura, o pesquisador se dá conta de que não aparecerão novas surpresas ou percepções. Neste ponto de saturação do sentido, o pesquisador pode deixar seu tópico guia para conferir sua compreensão, e se a avaliação do fenômeno é corroborada, é um sinal de que é tempo de parar. Em segundo lugar, há a questão do tamanho do corpus48 _{a ser analisado. ... A fim de analisar um corpus de textos extraídos} das entrevistas e ir além da seleção superficial de um número de citações ilustrativas, é essencial quase que viver e sonhar as entrevistas – ser capaz de relembrar cada ambiente entrevistado, e os temas-chave de cada entrevista.

Devido a estas duas razões, há um limite máximo ao número de entrevistas que é necessário fazer, e possível de analisar. Para cada pesquisador, este limite é algo entre 15 e 25

48 _{Na pesquisa qualitativa, a construção do “corpus de dados” corresponde ao processo de coleta de materiais} (dados). Não está baseado em princípios aleatórios, mas é, contudo, sistemático, levando em consideração a relevância, homogeneidade, sincronicidade e saturação. Implica a ampliação de funções e de estratos (variáveis externas) até que o espectro das representações focais (variáveis internas) de um tema seja saturado (Bauer & Gaskell, 2002: p. 52-62; 495-496)

entrevistas individuais, e ao redor de 6 a 8 discussões com grupos focais.... (Gaskell, 2002: p.71)

Quando se faz inferência, o desejável é que as estimativas encontradas fiquem o mais próximo do que se poderia chamar por situação real do fenômeno estudado. E, para isto, devemos evitar o viés e a ineficiência das estimativas; ou dito em outras palavras, devemos perseguir o não-viés (ou a não-tendenciosidade) e a eficiência.

De modo bastante didático e simplificado, King, Keohane e Verba (1994: p.150-207) definem o não-viés como sendo a centralização do intervalo no valor correto da estimativa, enquanto que a eficiência refere-se ao estreitamento desse intervalo adequadamente centrado. Erros de medida e erros na seleção das variáveis (a serem investigadas) podem induzir à ineficiência e também ao viés das estimativas.

Tanto os avaliadores quantitativos quanto os qualitativos devem fornecer a seus leitores a estimativa da incerteza de suas inferências. Como sabemos, aqueles primeiros normalmente o fazem, fornecendo suas medidas numéricas acompanhadas dos respectivos erros padrões de estimativa. Mas aqueles segundos deveriam também fazê-lo sempre, e apresentar as suas estimativas de incerteza sob a forma de cuidadosos julgamentos “em palavras” acerca de suas observações. Entendemos aqui a estimativa de incerteza como englobando, além da estimativa de ineficiência das medidas, também a estimativa de viés.

No que se refere à seleção das variáveis de controle que devem compor o modelo causal, esta é outra questão bastante delicada. Se excluímos variáveis relevantes, há o risco de se incorrer em viés. Porém, se incluímos variáveis irrelevantes, corre-se o risco da ineficiência das estimativas. Ou seja, na seleção das variáveis de controle, o avaliador fica frente ao dilema: viés versus ineficiência – e a priori, o pesquisador, muitas vezes, não consegue identificar quais as variáveis-candidatas a relevantes e a irrelevantes. Na solução desse dilema (e aqui reforçando a orientação de Pedhazur & Schmelkin (1991)), King, Keohane e Verba (1994: p.178) ressaltam o importante papel da teoria para iluminar esta escolha, com seus conceitos e relações: é ela que nos deverá guiar na seleção das variáveis para o modelo.

Para esses três autores, as variáveis de controle relevantes são basicamente aquelas correlacionadas com a variável explicativa causal, desde que não seja esta uma relação de conseqüência. Pois se a variável de controle tiver uma relação de conseqüência com a variável causal, ela deverá, neste caso, ser omitida, sob pena de mascarar o efeito causal em questão.

Porém, se a relação entre elas NÃO for de conseqüência, torna-se fundamental mantê-la, pois a sua a omissão tende a gerar viés na inferência causal (KKV, 1994: p.168-185).

A pesquisa de McWilliams e Siegel (2000), comentada na subseção II.1.1.2, exemplifica este ponto. Eles mostraram que, quando se avalia a influência da responsabilidade social da empresa (RSE) em sua performance financeira (PFE), dois resultados diferentes são possíveis49. O primeiro, quando não se inclui a taxa de investimentos em pesquisa & desenvolvimento (P&D) como uma das variáveis explicativas de controle, esta influência parece significativa. E segundo, quando esta variável de controle é incluída no modelo, a influência da responsabilidade social na performance financeira torna-se pouco significativa. Este estudo de McWilliams e Siegel ilustra como a omissão de uma variável de controle correlacionada com a variável causal (ou variável relevante) consegue enviesar os resultados de causalidade: sem “P&D”, a “RSE” parece ter efeito causal significativo na “PFE”; com “P&D”, isto deixa de ser verdadeiro.

Já as variáveis de controle irrelevantes são aquelas que podem ser omitidas, sem o risco de gerar viés na inferência causal, como é o caso das variáveis que não têm efeito causal na variável dependente; ou que, mesmo tendo, não são correlacionadas com a variável explicativa causal50.

Na inferência causal com dados qualitativos, o avaliador deve também estar sempre alerta para o problema da endogeneidade, que pode ser outra fonte de viés nas estimativas de causalidade. A endogeneidade ocorre quando os valores51 assumidos pelas variáveis explicativas são conseqüência, ao invés de causa da variável dependente. Ou seja, são

49 _{McWilliams e Siegel (2000) investigaram a relação da “Responsabilidade Social da Empresa” (RSE) na} “Performance Financeira da Empresa” (PFE). Por RSE, consideraram uma variável do tipo dummy, sendo (1) se a empresa está incluida no “Domini Social Index” (DSI) e (0) caso não esteja; e para PFE, foi considerada uma medida de lucratividade. Inicialmente, foram incluídas como variáveis de controle o tamanho da empresa, o risco, e o tipo de indústria a que a empresa pertence. Nesta primeira situação, o coeficiente de regressão obtido para RSC foi de 0,141 com nível de significância (p) de 0,01, ou seja, indicando que o poder explicativo da RSC na PFE era significativamente diferente de zero. Na segunda situação, foram acrescidas as seguintes variáveis de controle: investimentos em P&D e investimentos em propaganda. Rodada a regressão, constatou-se que o