Omnibalancing teorisi

A origem da avaliação de programas tanto na Grã-Bretanha como nos Estados Unidos da América (E.U.A.), partiu de experiências na área da educação, por meio da avaliação institucional de escolas no período de 1800 a 1840 (Worthen, Sanders & Fitzpatrick, 2004).

Todavia, o seu processo de sistematização como campo de atuação surgiu do aumento gradual do interesse (por exemplo: em função de definir ações a serem investidas; identificar programas bem sucedidos para a sua continuidade; dar retorno à sociedade quanto à utilização dos recursos públicos) e da abrangência do seu uso em vários países, a partir de 1910 (Calmon,1999), conforme a Tabela 10.

Tabela 10

Retrospectiva histórica da área de avaliação de programas

Década Avanços históricos

1910-1920 Primeiros esforços de sistematização da área com a utilização de métodos de pesquisa científica para obtenção de dados sobre problemas sociais enfrentados (como no campo da educação e saúde).

1930 Surgimento de novos campos de aplicação e novas técnicas para a avaliação de programas

sociais.

1950 Aumento de sua abrangência nos países desenvolvidos e em desenvolvimento e o concomitante aparecimento de técnicas quantitativas sofisticadas.

1960 Grande expansão e especialização da área pela quantidade de programas sociais implantados nos Estados Unidos e pelo financiamento destes para apoiar os países em desenvolvimento. Foco de atenção para a busca de solução dos principais problemas sociais e do rigor científico na avaliação dos programas.

1970-1980 Fortalecimento da área com o seu debate conceitual e metodológico, abordando questões sobre a aplicação de técnicas quantitativas versus qualitativas e a sua utilização nas instâncias decisórias.

1990-1999 Interesse pela área em função de definir ações a serem investidas; identificar programas bem sucedidos para a sua continuidade; dar retorno à sociedade quanto à utilização dos recursos públicos. Consenso entre os estudiosos da área quanto à inexistência de uma prática ideal de avaliação, em virtude desta se encontrar afetada por um conjunto de fatores políticos, epistemológicos, metodológicos e contextuais.

Fonte: Calmon (1999).

Worthen, Sanders e Fitzpatrick (2004) mencionaram, então, que a avaliação de programas teve a sua origem na procura de soluções para os problemas educacionais e sociais, destacando dois fatos da década de 1930:

1. o desenvolvimento de testes de desempenho que permitiu às instituições credenciadoras utilizarem as medidas de resultados das escolas, como sinônimo de avaliação; e

2. a inclusão de pesquisadores sociais em fundações ou unidades de instituições públicas e privadas interessadas no processo de avaliação. Tal demanda se ampliou nos órgãos públicos dos Estados Unidos, após a Grande Depressão, com a implantação da política do New Deal, cujos novos serviços ou programas permitiram a pesquisa aplicada por cientistas sociais, em parceria com professores universitários.

Sobre o período de 1940 a 1965, Worthen, Sanders e Fitzpatrick (2004) apontaram a expansão do uso da pesquisa social aplicada para programas governamentais destinados à esfera militar, uma vez que era a época da Segunda Grande Guerra.

Com essa expansão, principalmente, entre a década de 1950 e início da década de 1960, os cientistas sociais passaram a analisar todo o programa e não apenas partes dele, o que se denominou de “pesquisa de avaliação”, mantendo a aplicação de métodos tradicionais das ciências sociais.

Em avaliação de programas na área de educação, Worthen, Sanders e Fitzpatrick (2004) referiram também que houve a consolidação de métodos antigos de avaliação. No entanto, as publicações sobre a época apontaram deficiência conceitual e metodológica na avaliação, justamente, pela utilização de métodos das ciências sociais nem sempre apropriados para a educação.

Tal situação se tornou mais evidente na avaliação de programas de desenvolvimento de currículos para o ensino da matemática e ciências, que foi solicitada em virtude da antiga União Soviética ter lançado o Sputnik I, fazendo com que ainda na época da Guerra Fria, os E.U.A. sentissem a necessidade de buscar melhoria educacional.

Os autores indicaram que, no governo de John Kennedy e de Lindon Johnson, dentro da política social de oferecer oportunidades para todos os estadudinenses, surgiram programas federais de amplitude (Guerra à Pobreza e Grande Sociedade) que garantiram as condições para o desenvolvimento conceitual e metodológico da avaliação de programas.

Inicialmente, buscou-se adotar um Sistema de Planejamento, Programação e Orçamento – SPPO – da Ford Motor Company para a avaliação dos programas

governamentais em várias esferas, apesar da resistência dos órgãos. Tal sistema contribuiu para dar abertura a novas abordagens de avaliação como aquela orientada por objetivos, principalmente, diante da necessidade do governo justificar os gastos com os programas implantados e comprovar a sua eficiência.

Os autores supracitados defenderam que o marco do surgimento da avaliação de programas contemporânea, em 1965, nos E.U.A., foi a aprovação da Lei do Ensino Fundamental e Médio, na qual se exigiu a avaliação de programas educacionais.

Como os educadores não estavam preparados para avaliar, mesmo com o auxílio de pesquisadores qualificados na área de ensino, psicologia ou sociologia, não se alcançou resultados favoráveis no processo de avaliação e se percebeu que o método experimental não era o mais adequado para identificar a influência de diversas variáveis ao programa. Surgiu, assim, um maior interesse em estudar métodos apropriados para avaliar programas e outros questionamentos sobre a qualificação dos avaliadores e a sua formação como profissionais.

Especificamente sobre a avaliação de programas educacionais, Guba e Lincoln (1989) expressaram as transformações do conceito de avaliação ao longo do tempo, por meio da identificação de quatro gerações:

1. na primeira geração, a avaliação tinha o sinônimo de mensuração, utilizava testes psicométricos e adotava o foco estatístico;

2. na segunda geração, a avaliação era descritiva, delineava os procedimentos para o alcance de objetivos de um programa e adotava o foco interpretativo;

3. na terceira geração, a avaliação tinha conotação de julgamento profissional, formulavam-se juízos de valor acerca dos objetos de avaliação; e

4. na quarta geração, a avaliação é vista como processo de negociação e em construção, no qual os interessados e/ou envolvidos no programa participam ativamente de todo o processo avaliativo e há o uso de variados métodos. Foi com base nessa última conceituação que se realizou a avaliação do programa de tutorização da EMATER-RN.

Saindo do campo teórico e partindo para a prática, Worthen, Sanders e Fitzpatrick (2004) ressaltaram que as duas últimas décadas caracterizaria a avaliação como profissão com base em dez critérios: (1) necessidades de especialistas no mercado de trabalho, (2) conteúdo próprio e exclusivo, (3) desenvolvimento de cursos formais, (4) oportunidades de carreira, (5) institucionalização da função, (6) formas de licenciamento, (7) criação de entidades de classe e (8) critérios de afiliação, (9) influência dessas entidades sobre os cursos preparatórios e (10) definição de padrões para a atuação do avaliador33.

Os autores defenderam que a avaliação pode ser vista como profissão porque atende a critérios como:

1. Necessidade de especialistas qualificados em avaliação de programas. O mercado de trabalho vem recrutando e selecionando profissionais mais próximos do

33 _{Quanto à definição de padrões de atuação do avaliador, a American Evaluation Association (2004)}

estabeleceu cinco princípios norteadores no ano de 1994, cuja revisão ocorreu em 2004, são eles: (1) indagação sistemática do avaliador sobre o método e a transparência no processo avaliativo; (2) competência do avaliador na sua atuação junto aos envolvidos buscando o melhor desempenho; (3) integridade/honestidade do avaliador garantida pela negociação, esclarecimento e orientação sobre os procedimentos aos interessados na avaliação; (4) respeito pelas pessoas assegurado pela atuação ética do avaliador, pela preservação da dignidade, da diversidade e autovalorização dos envolvidos e pelo direito social de retorno dos resultados aos mesmos; (5) responsabilidade pelo bem estar geral e público na disseminação dos resultados da avaliação, considerando os diversos interesses e valores do público em geral e a busca de atender às expectativas mais imediatas e de visualizar as implicações e repercussões mais amplas.

perfil de avaliador (contadores, auditores, economistas, pesquisadores das ciências sociais e humanas entre outros).

2. Crescimento da literatura da avaliação nas últimas décadas, com conteúdo próprio e exclusivo. Haja vista às diversidades filosóficas e metodológicas de autores, ocorre o consenso no que se refere à sua faceta técnica e política e sua multidimensionalidade conceitual e metodológica.

3. Criação de uma cultura de avaliação. A obrigatoriedade na avaliação de programas fez surgir oportunidades de emprego em projetos municipais, estaduais ou nacionais na década de 1970, permitindo a estabilidade do profissional avaliador. Quando se pensou que o término da exigência, em 1980, diminuiria a empregabilidade, a criação de uma cultura de avaliação em vários órgãos do governo permitiu a institucionalização de sua função.

4. Existência de associações profissionais reconhecidas, tanto de avaliadores educacionais como cientistas sociais. Tais associações na América do Norte, América Latina e Europa foram estruturadas em redes, permitindo a participação de avaliadores de vários países, sendo as mais conhecidas: American Evaluation Association, American Educational Research Association, Australasian Evaluation, Canadian Evaluation e

European Evaluation Society.

5. Diretrizes definidas de avaliação. O primeiro passo para a formulação de diretrizes para guiar a prática, em diversos contextos de avaliação, foi dado pelo Joint Committee on Standards for Education Evaluation, em 1981, posteriormente, outras

publicações de entidades com este fim vem promovendo a sua reformulação e ampliação.

Os autores citados aludiram, ainda, aspectos que a avaliação de programas precisaria atender, quais seriam:

1. Cursos universitários de pós-graduação em avaliação de programas. Os primeiros cursos surgiram em 1965, com o financiamento do governo norte-americano, objetivando qualificar avaliadores educacionais e cientistas sociais, mas diminuíram à medida que os recursos ficaram escassos. Os programas de mestrado e doutorado que continuaram existindo, passaram por mudanças no currículo34. Questionara-se se a quantidade de cursos existentes era suficiente para suprir as necessidades do mercado e garantir a atuação de pessoal qualificado.

2. Influência das entidades de classe nos cursos de preparação de avaliadores. Embora algumas entidades participassem atribuindo créditos aos cursos universitários, abstinham-se de qualquer controle.

3. Mecanismos de certificação ou licenciamento para os avaliadores. Não havia a iniciativa de entidades ou associações em criar processos de credenciamento, assim os critérios de contratação nem sempre garantiram a competência dos avaliadores, principalmente, na questão ética.

Tal realidade apresentada anteriormente foi fruto de experiência norte-americana e canadense, portanto não corresponde à brasileira. De acordo com a Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (Alchieri et al., 2010), a área de

avaliação de programas não apresentou o mesmo desenvolvimento no Brasil comparativamente à Europa e países como Estados Unidos, Canadá e Austrália.

O desenvolvimento da avaliação no Brasil teve o seu início tardio em todas as áreas: o campo educacional, na década de 1960 (Viana, 2010) e o campo social, na década de 1980 (Rocha, Albuquerque & Marcelino, 2008). Atualmente, vem ganhando

34 _{Entre as mudanças no currículo dos programas de pós-graduação sobre avaliação estavam a introdução}

de disciplinas de filosofia, sociologia, antropologia, ciência política, economia (e não somente psicologia), assim como, métodos e técnicas de entrevista, análise de conteúdo entre outras, ao invés de simplesmente desenhos de pesquisa e estatística, além de ser enfatizada a prática por meio de estágio e consultoria.

espaço, principalmente, na área social, educacional, de políticas públicas e no setor privado como as organizações de sociedade civil, organizações não-governamentais ou terceiro setor (Chianca, Marino & Schiesari, 2001)

Alchieri et al. (2010) mencionaram que a área de avaliação tem sido objeto de

estudo no âmbito acadêmico (por exemplo: nas Universidades Federais de Brasília, Paraíba e Rio Grande do Norte), assim como, há experiências de aplicação em instituições e órgãos governamentais (como o Tribunal de Contas da União).

Novaes (2000) explicou que a evolução da área de avaliação de programas depende da identificação das condições históricas de produção do conhecimento e de sua utilização, ao defender que a relação entre ciência e tecnologia advinha dos valores de uma sociedade.

Para o autor supracitado, um conhecimento com possibilidade de utilização tem conteúdo valorativo para a sociedade. Dessa forma, a idéia de valor pressupõe o posicionamento do avaliador e do avaliado sobre determinado conteúdo e a sua interação com o contexto no qual a avaliação se desenvolve.

Partilhando dessa perspectiva de Novaes (2000) da relação sociedade e valor atribuído à avaliação, para a propagação de uma cultura de avaliação no Brasil, Silva e Brandão (2006) solicitaram um olhar holístico por meio de cinco componentes:

1. busca de entendimento conceitual entre os interessados na avaliação;

2. conquista de autonomia frente aos financiadores para a liberdade de ações organizacionais e, em contrapartida, maior responsabilidade nesta atuação;

3. desenvolvimento da capacidade de aprender nas organizações;

4. preparo de avaliadores na competência para a facilitação e a gestão de processos de avaliação e a investigação da realidade;

5. esforço das organizações em captar recursos para a sua aprendizagem, a fim de efetivamente ocorrer o desenvolvimento da sociedade como um todo.

Todavia, Brandão, Silva e Palos (2005) revelaram alguns fatores que dificultavam a incorporação da prática de avaliação pelas organizações, são eles:

a) econômico, no que se refere a priorizar recursos financeiros para ações futuras e não para a avaliação de ações presentes, além de não se buscar uma estimativa dos custos de uma avaliação;

b) formativo, no que diz respeito ao pouco investimento para o preparo e a atuação de gestores, educadores e consultores no campo da avaliação; e

c) organizacional, em relação à carência de reflexão sobre a prática decorrente entre outros aspectos do imediatismo resultante de demandas e de prazos. Os autores acreditavam que somente a prática de avaliação permitiria o julgamento de sua relevância para as organizações em termos de custo-benefício.

Com o objetivo de construir uma cultura de avaliação nas organizações, Brandão, Silva e Palos (2005) identificaram cinco dimensões relevantes para o processo avaliativo, de acordo com a Tabela 11. A dimensão poder se refere ao planejamento participativo da avaliação por meio do empoderamento (empowerment) dos interessados; a dimensão identidade se relaciona aos valores e crenças dos envolvidos e a possibilidade de redefinição de conceitos e revisão de práticas de forma coletiva; a dimensão motivacional diz respeito à disposição dos atores sociais em fazer parte da construção do processo avaliativo; a dimensão competências articula as demais, à medida que apoia os processos de reflexão, aprendizagem e desenvolvimento de grupos

e organizações35; a dimensão recursos implica o controle de consumos (de tempo, dinheiro, pessoas, materiais, estrutura, etc.) de determinados tipos de avaliação para assegurar seu custo-benefício.

Tabela 11

Síntese das dimensões da capacidade avaliativa

Dimensão Premissa O que gera Perguntas-chave

Poder (O que

podemos?) Agir liberdade em Participação Comprometimento e Quem será envolvido? Quais suas aspirações? Qual o papel de cada um? Qual será a participação desses atores? Que conflitos existem? Como tomaremos decisões?

Identidade (O que

somos e

pensamos?

Conceitualizar Alinhamento Quem será envolvido? Por que iremos avaliar?

Para que iremos avaliar? Como vamos utilizar os resultados? O que buscamos aprender? O que iremos avaliar?

Vontade (O que

queremos?) Desejar inspirar e Movimento Que sentimentos a avaliação nos desperta? Queremos avaliar? Estamos dispostos a abrir espaço para a avaliação? Quem pode liderar o processo?

Competências (O

que sabemos?) Reconhecer competências e habilidades no grupo

União e busca do desenvolvimento do grupo

Como iremos avaliar? Quais são os conhecimentos e habilidades que temos? O que precisamos desenvolver? Recursos (O que conseguimos até agora?) Reconhecer o que se tem e o que é necessário Orientação pela realidade: “Pé no chão”

Qual tempo e envolvimento vamos dispor? Qual o prazo? De quais recursos dispomos? O que será necessário captar?

Fonte: Brandão, Silva e Palos (2005, p. 19).

Com a mesma intenção de construir uma cultura de avaliação no Brasil e atendendo a um movimento mundial, foi criada a Rede Brasileira de Avaliação36 em

35

De acordo com Brandão, Silva e Palos (2005), a dimensão competências permite a descoberta de habilidades, tais como: a facilitação de processos, a gestão de processos e a investigação da realidade. O facilitador possibilita aos envolvidos atribuir sentido à avaliação pela participação na definição de objetivos, foco, utilidade e problema e garantia de apoio à emancipação de decisões, processos, reflexões e interações. O gestor de processos analisa o contexto interno e externo, avaliando tempo, recursos, equipe, comunicação, viabilidade e propriedade da avaliação. O investigador assegura a precisão e a confiabilidade do processo de avaliação por meio da escolha de abordagens, técnicas, descrição, análise e interpretação.

36 _{Leia mais sobre a Rede Brasileira de Avaliação em www.avaliabrasil.org.br/RedeBrasileirade}

2002, por um grupo informal de profissionais com atuação em monitoramento e avaliação.

O objetivo global da rede é a capacitação em monitoramento e avaliação por meio de um fórum, no qual seriam definidas normas, metodologias e práticas profissionais. Entre os seus objetivos estratégicos, têm-se a articulação de pessoas e organizações, construção, produção e disseminação de conhecimentos, promoção de aprimoramento dos profissionais no campo da avaliação, defesa de inclusão da avaliação nas estratégias institucionais de planejamento e gestão, fortalecimento e ampliação da rede.

A Rede Brasileira de Avaliação conta com um Comitê Coordenador representante de cinco categorias na área do monitoramento e da avaliação, quais sejam: a comunidade acadêmica, as agências de cooperação internacional, a administração pública, o terceiro setor e o setor privado.

Com membros atuantes em São Paulo, Brasília, Bahia, Pernambuco e Rio de Janeiro que promovem reuniões e com a possibilidade de ampliação em Belém, Fortaleza, Manaus e Porto Alegre, a rede mantém um grupo permanente de discussão on-line, sobre monitoramento e avaliação, aberto para pessoas interessadas sobre o

assunto.

Existe um grupo de trabalho na Associação Nacional de Pesquisa e Pós- Graduação em Psicologia (ANPEPP), (Alchieri et al., 2010), dedicado ao tema avaliação de programas. É formado por docentes vinculados a instituições localizadas nos seguintes estados: Distrito Federal, Paraíba e Rio Grande do Norte.

O referido grupo traçou como propostas em 2010: (1) formalização de novos convênios; (2) fomento de atividades conjuntas de ensino e de experiências acadêmicas; (3) manutenção da colaboração entre empresas públicas e as universidades nas pesquisas; (4) ampliação do grupo e capacitação como consultores; (5) revisão final do primeiro livro; (6) delineamento da home-page do grupo junto as Instituições de Ensino Superior (IES). As iniciativas como o grupo de trabalho na ANPEPP e a Rede Brasileira de Avaliação são importantes para advogar a incorporação de ações sistemáticas de avaliação no planejamento e gestão organizacional.

Concluindo, avaliações são essenciais para comprovar o sucesso de um programa. É preciso envolver os interessados no processo, definir as modalidades de avaliação a serem aplicadas, considerar os princípios e as etapas necessárias para assegurar a sua qualidade.

O campo de atuação em avaliação é recente e tem se ampliado. No caso brasileiro, sua prática começou tardia em comparação a outros países. Por isso, a cultura de avaliação ainda está em formação no Brasil, sendo impulsionado por grupos acadêmicos e de profissionais interessados na construção de uma consciência crítica necessária para efetivamente se utilizar a avaliação na tomada de decisão. A avaliação do programa de tutorização não fugiu a essa pretensão. Todavia, para se chegar à prática da avaliação, precisou-se apreender o tema tutorização e ofertar alguns exemplos de implantação de programas com essa natureza. É o assunto do próximo capítulo.