A característica maior do sistema informatizado de avaliação da CAPES é que sua configuração necessita levar em conta não apenas a cultura interna da instituição (hábitos, terminologia, etc), mas também a perspectiva do usuário externo, que é a fonte primária de alimentação do Sistema.
Os dados coletados nos cursos de pós-graduação constituem a chamada Memória da Pós-Graduação e o tratamento ao qual estes dados serão submetidos deve atender não apenas aos objetivos dos processos de avaliação ou de análise interna na CAPES, mas a outras finalidades, internas e externas. Ilustram esta postura, os contatos mantidos com o IBICT para que os dados sobre teses fossem utilizados em seu Banco de Teses. Igualmente, os dados devem estar disponíveis para utilização pelas IES‘s ou por entidades e indivíduos para tal autorizados pela CAPES.
O processo de coleta de dados nos cursos foi integralmente revisto, tanto em relação ao seu conteúdo quanto com respeito à interface informatizada. Ambos foram submetidos, em várias ocasiões, a grupos de docentes com experiência e representatividade nos processos de avaliação e consultoria das agências públicas de fomento (CAPES, CNPq, FINEP, Fundações Estaduais, etc.).
O módulo de Coleta foi discutido na Sub-Reitoria de Pós-Graduação e Pesquisa da UFMG, a qual apresentou-se para atuar como um dos locais de testes. O processo de coleta passou a prescindir dos disquetes como meio de transmissão de dados entre a CAPES e as IES‘s e essa transmissão ocorre através da RNP - Rede Nacional de Pesquisas, uma modalidade de comunicação concebida para ser preferencial entre a CAPES e as IES‘s.
Os consultores do processo de avaliação passaram então, a contar com um módulo da Aplicação Avaliação de Cursos para seu uso direto, que é útil para o registro das apreciações parciais, para a construção de visões consolidadas e para a elaboração dos documentos finais do processo – tornando o resultado da avaliação imediatamente disponível para a Diretoria de Avaliação da CAPES.
Com o intuito de facilitar o desenvolvimento das atividades de avaliação, foram organizadas 48 áreas de conhecimento, agregadas por critério de afinidade. Ad 48 Grandes Áreas para fins de avaliação da CAPES estão assim distribuídas:
CIÊNCIAS AGRÁRIAS CIÊNCIAS BIOLÓGICAS CIÊNCIAS DA SAÚDE
Ciência de Alimentos Ciências Agrárias I Medicina Veterinária Zootecnia / Recursos Pesqueiros Biodiversidade Ciências Biológicas I Ciências Biológicas II Ciências Biológicas III
Educação Física Enfermagem Farmácia Medicina I Medicina II Medicina III Nutrição Odontologia Saúde Coletiva CIÊNCIAS EXATAS E DA
TERRA ENGENHARIAS MULTIDISCIPLINAR
Astronomia / Física Ciência da Computação Geociências Matemática / Probabilidade e Estatística Química Engenharias I Engenharias II Engenharias III Engenharias IV Biotecnologia Ciências Ambientais Ensino Interdisciplinar Materiais CIÊNCIAS HUMANAS CIÊNCIAS SOCIAIS
APLICADAS LINGUÍSTICA, LETRAS E ARTES
Antropologia / Arqueologia Ciência Política e Relações Internacionais Educação Filosofia / Teologia Geografia História Psicologia Sociologia Administração, Ciências Contábeis e Turismo Arquitetura e Urbanismo Ciências Sociais Aplicadas Direito Economia Planejamento Urbano e Regional / Demografia Serviço Social Artes / Música Letras / Linguística
Quadro 16- As 48 Grandes Áreas para a avaliação da CAPES Fonte: CAPES, 2015
Uma vez preenchidas as informações, os dados são tratados e transmitidos pelo Módulo de Coleta de dados para a CAPES e é permitida, então, a emissão dos Cadernos de Indicadores, que são os relatórios utilizados no processo de avaliação. Atualmente, os Cadernos são compostos por 11 documentos em formato portable document file (PDF), trazendo dados qualitativos sobre: PT- Produção Técnica; DI-Disciplinas; PO- Proposta do Programa; TE-Teses e Dissertações; PB-Produção Bibliográfica; CD-Corpo Docente; DP- Docente Produção; DA-Docente Atuação, PA- Produção Artística, LP-Linhas de Pesquisa e PP-Projetos de Pesquisa.
O propósito dos cadernos é oferecer o resumo dos dados informados pelos programas, que servirão de guia para os avaliadores quando da próxima avaliação da CAPES. A CAPES. Há pleno acesso de todos os interessados a esse conjunto de relatórios e, para tanto, basta selecionar o ano desejado para a pesquisa, digitar o código de usuário fornecido pelos administradores do sistema (caso o possua), o nome ou a sigla da IES e selecionar a área de avaliação do respectivo relatório.
Por se tratar de consultas, o acesso é público e sem dificuldades para o usuário. A figura 7 exibe a tela de entrada para a consulta aos Cadernos.
Figura 08 – Tela de entrada para consulta aos Cadernos de Indicadores Fonte: CAPES, 2015
Já para o preenchimento dos dados, é obrigatório o cadastro prévio no sistema e o processo é destinado aos coordenadores e secretários dos Programas, que recebem um código de acesso e uma senha inicial. Para fins do preenchimento das informações, o sistema é aberto durante períodos que são dados a conhecer mediante comunicação do cronograma aos responsáveis.
O menu de preenchimento do módulo de Coleta de dados da Plataforma Sucupira é o seguinte:
Figura 09 – Plataforma Sucupira: menu de preenchimento de dados dos Programas Fonte: CAPES, 2015
A avaliação institucional dos programas de pós-graduação é, então, realizada ao final de cada triênio por uma Comissão de Área (CA), cujos consultores são convidados quando há necessidade de desenvolver uma tarefa específica. Os resultados da avaliação de cada área são encaminhados para o Comitê Técnico Científico (CTC) da CAPES, instância que regulamenta, ordena e coordena todo o processo de avaliação dos programas de pós- graduação no Brasil, e que é formado por 24 membros: o Presidente da CAPES; três diretores (de Avaliação, de Programas e Bolsas no País, e de Relações Internacionais); 18 representantes das grandes áreas; um representante do Fórum Nacional de Pró-Reitores de Pesquisa e Pós-graduação (FOPROP); e um representante da Associação Nacional de Pós-
graduandos (ANPG). A ficha de avaliação é composta por cinco quesitos 18 itens de avaliação, que recebem ponderações diferenciadas.
Há uma pequena margem de variação no peso de cada quesito, que possibilita que algumas áreas valorizem mais ou menos cada um dos quesitos, podendo ocorrer na mesma área, de um triênio para outro. Todas as atividades realizadas pelos professores durante o triênio contribuem para a avaliação do programa; no entanto, as publicações qualificadas em periódicos de alto impacto – é o item mais valorizado na avaliação individual do professor. Hipoteticamente, um professor poderia contribuir significativamente para o programa nos primeiros 16 itens, mas se não tiver os pontos necessários em publicações em periódicos (sobretudo em periódicos de alto impacto) passaria à categoria de colaborador ou seria descredenciado do programa, pois sua permanência prejudicaria a avaliação pela CAPES do programa como um todo.
Na prática, são os critérios da CAPES que mais pressionam o professor a aumentar seu desempenho individual. Como ele necessita de tempo para o processo de reflexão e amadurecimento de suas ideias, existe a possibilidade de que este sistema comprometa a sua criatividade. (FONSECA, 2001; NASCIMENTO, 2010).
Os componentes integrantes da Ficha de Avaliação, com seus quesitos, pesos e itens estão discriminados no quadro abaixo:
QUESITOS PESO ITENS DE AVALIAÇÃO I - Proposta do Programa Sem atribuição de peso
1.1 Coerência, consistência, abrangência e atualização das áreas de concentração, linhas de pesquisa, projetos em andamento e proposta curricular.
1.2 Planejamento do programa com vistas a seu desenvolvimento futuro, contemplando os desafios internacionais da área na produção do conhecimento,
seus propósitos na melhor formação de seus alunos, suas metas quanto à inserção social mais rica dos seus egressos, conforme os parâmetros da área.
1.3. Infraestrutura para ensino, pesquisa e, se for o caso, extensão.
II - Corpo Docente
20% sobre o total da avaliação
2.1. Perfil do corpo docente, consideradas titulação, diversificação na origem de formação, aprimoramento e experiência, e sua compatibilidade e adequação à Proposta do Programa.
2.2. Adequação e dedicação dos docentes permanentes em relação às atividades de pesquisa e de formação do programa.
2.3. Distribuição das atividades de pesquisa e de formação entre os docentes do programa.
2.4. Contribuição dos docentes para atividades de ensino e/ou de pesquisa na graduação, com atenção tanto à repercussão que este item pode ter na formação de futuros ingressantes na PG, quanto (conforme a área) na formação de profissionais mais capacitados no plano da graduação. 2.5. Inserção acadêmica do corpo docente
III - Corpo discente, teses
e dissertações 35%
3.1. Quantidade de teses e dissertações defendidas no período de avaliação, em relação ao corpo docente permanente e à dimensão do corpo discente.
3.2. Distribuição das orientações das teses e dissertações defendidas no período de avaliação em relação aos docentes do programa.
3.3. Qualidade das Teses e Dissertações e da produção de discentes autores da pós-graduação e da graduação (no caso de IES com curso de graduação na área) na produção científica do programa, aferida por publicações e outros indicadores pertinentes à área.
3.4. Eficiência do Programa na formação de mestres e doutores bolsistas: Tempo de formação de mestres e doutores e percentual de bolsistas titulados. IV – Produção Intelectual 35%;
4.1. Publicações qualificadas do Programa por docente permanente. 4.2. Distribuição de publicações qualificadas em relação ao corpo docente permanente do Programa.
4.3. Produção técnica, patentes e outras produções consideradas relevantes.
V – Inserção social
10%
5.1. Inserção e impacto regional e (ou) nacional do programa.
5.2. Integração e cooperação com outros programas e centros de pesquisa e desenvolvimento profissional relacionados à área de conhecimento do programa, com vistas ao desenvolvimento da pesquisa e da pós-graduação. 5.3 - Visibilidade ou transparência dada pelo programa à sua atuação. Quadro 17- Quesitos da Ficha de Avaliação da CAPES
Esse conjunto de quesitos alinha-se a toda a lógica de avaliação da Capes e a primeira coisa que salta aos olhos é que há uma padronização que desconsidera as diferenças regionais. Já no primeiro quesito, Proposta do Programa, o item 1.3, avalia a infraestrutura para ensino, pesquisa e, se for o caso, extensão – e considera um universo de atributos que não estão na esfera de competência do Programa, mas sim da universidade na qual ele se insere. As condições infraestruturais de uma IES são da competência da universidade, posto que é a IES que recebe recursos do Tesouro para a execução desses tipo de investimento. .
E, fato também a se considerar – a distribuição de recursos não é homogênea para todas as universidades e, desse modo, perpetuam-se as diferenças regionais também na avaliação dos Programas, penalizando-os duplamente. As universidades do eixo sul-sudeste do país, onde há a histórica concentração de recursos, por contarem com as melhores condições de infraestrutura, manterão uma hegemonia também histórica, nas avaliações.
Ao levarmos em conta que as universidades recebem dotação federal anual e possuem destinação de recursos para aplicar em sua infraestrutura – que os Programas de pós- graduação não recebem, nos editais de financiamento das pesquisas, recursos para despesas em investimentos (os recursos dos editais são, via de regra, destinados apenas para custeio), percebe-se, de imediato, que o item 1.3 da Avaliação do Programa possui um caráter perverso e punitivo, ao avalia-los em um item que não depende deles e para o qual não contam com nenhuma contrapartida de dotação orçamentária concedida oficialmente pelo governo federal . A título de esclarecimento, é importante conhecer a diferença entre uma despesa de custeio e uma despesa de investimento. A definição a seguir é dada pela Secretaria de Orçamento do Governo Federal do MPOG (2010, p. 01):
A despesa de custeio engloba, no caso específico da educação, não só as despesas com o material de consumo, como compra de giz, compra de algum gasto para a escola, mas também um gasto com o professor. Então o pagamento de salário do professor é uma despesa de custeio. Por outro lado a questão do investimento é aquilo que é investido para ampliar o patrimônio do poder público. Então, por exemplo, a construção de uma escola, é um investimento, a compra de uma cadeira, a compra de um computador, é um investimento. Você está agregando um patrimônio ao patrimônio geral do poder público."
O quesito III – Corpo Discente, Teses e Dissertações apresenta um paradoxo, ao pretender, em seu item 3.3, avaliar a qualidade das teses e dissertações e da produção de
discentes [...] na produção científica do Programa , aferida por publicações e outros indicadores pertinentes à área. Aqui, a pretensão é avaliar a qualidade por meio da quantidade, já que a avaliação será realizada por meio dos indicadores quantitativos de publicações. Embora o texto induza a se pensar que haverá, realmente, uma avaliação qualitativa da publicação, isso não ocorre de fato, pois não há critério algum que norteie uma avaliação realmente qualitativa dessas publicações.
Os princípios gerais que norteiam a avaliação da CAPES destacam: a qualidade e excelência dos resultados; a atenção à especificidade das áreas de conhecimento; e o impacto dos resultados na comunidade acadêmica e empresarial, e na sociedade. Os índices propostos enfatizam a produtividade dos orientadores e a participação do aluno formado na produção científica e tecnológica dos laboratórios ou grupos de pesquisa que compõem a pós- graduação. Além disso, devem refletir a relevância do conhecimento novo, sua importância no contexto social e o impacto da inovação tecnológica no mundo globalizado e competitivo.
Outros critérios de aferição da pós-graduação preveem: a qualidade da produção científica e tecnológica dos grupos de pesquisa que a compõem; o número de doutores titulados que saíram da Iniciação Científica diretamente para o Doutorado; e a interação da pós-graduação com o setor empresarial, para a especialização de funcionários de empresas através de cursos de Mestrado.
Em síntese, o Sistema de Avaliação da CAPES acompanha a produtividade na formação de doutores, o desempenho na formação de mestres, e o desempenho na produção intelectual, através de informações quantitativas que informam a comunidade científica a respeito do desempenho das instituições de ensino e por região do país. As principais finalidades do Sistema de Avaliação podem ser traduzidas em: obter os indicadores de produtividade da Pós-graduação no Brasil (situação e evolução), e fornecer subsídios para as políticas de desenvolvimento da pós-graduação. ( SAORIM, 2009).
A maior parte dos quesitos municia uma análise quantitativa sobre o trabalho docente. No quesito 3 (Corpo Discente), todos os itens avaliam o corpo discente diretamente à luz da produção do trabalho docente, da quantidade de teses e dissertações defendidas e da distribuição das orientações das teses e dissertações. O quesito 4 (Produção Intelectual), do mesmo modo, é avaliado diretamente pela quantidade e qualidade da produção científica, técnica e artística dos docentes do programa.
As críticas são vastas, no mundo acadêmico, especialmente ao que tange à necessidade da construção, no modelo de avaliação a CAPES, de indicadores diferenciados entre as áreas de Ciências Exatas e da Terra e de Ciências Humanas para uma avaliação com maior conformidade às especificidades de cada grande área.
O modelo de avaliação da pós-graduação, introduzido pela CAPES no biênio de 1996- 1997, com a proposta de o Programa ser a unidade básica da pós-graduação, e não mais os cursos de mestrado e doutorado avaliados isoladamente, deu destaque aos cursos de excelência (compreendida como inserção internacional), à organicidade entre linhas de pesquisa, projetos, estrutura curricular, publicações, teses e dissertações. Não deixa dúvidas quanto à finalidade esperada da pós-graduação: a de ser, prioritariamente, o locus de produção de conhecimento e de formação de pesquisadores ( HORTA E MORAES, 2005; KUENZER & MORAES, 2009).
Da mesma forma, a ênfase avaliativa sobre os produtos – basicamente, a produção bibliográfica qualificada – indica a expectativa de ampla divulgação dos resultados de pesquisa instalada. Esse processo avaliativo provocou polêmicas no universo da pós- graduação brasileira, não obstante ser absolutamente consensual, mesmo entre seus críticos, a importância da avaliação, particularmente a efetivada por pares, tal como procede a CAPES. No triênio subsequente (1998-2000), a CAPES introduziu uma das mais controvertidas mudanças: o papel assumido pelo Conselho Técnico Científico (CTC), não mais de mera homologação de resultados, mas de rigorosa apreciação e questionamento das análises e avaliações efetivadas pelas comissões de áreas. Verificou-se, com nitidez, o que possivelmente já se podia antever em decisões anteriores do CTC: os níveis 6 e 7 foram definidos exclusivamente a partir de um único parâmetro: a produção científica internacional, e basicamente em periódicos estrangeiros.
Nesse triênio, a área de Educação perdeu três dos seus seis programas de conceito 6. A Grande Área de Ciências Humanas (GRACH), no triênio subsequente, buscou formas de resistência e de articulação para confrontar a hegemonia paradigmática no CTC. Foi um momento de luta por hegemonia no interior do CTC – para alcançar o mainstream epistemológico que asseguraria mais verbas e prestígio – e, nesse esforço, lançou-se mão de forte desqualificação epistemológica das áreas de ciências humanas e ocorreram ásperos enfrentamentos (HORTA e MORAES, 2005).
A avaliação posterior (1998-2000) ocorreu em quatro etapas: a) avaliação e atribuição dos conceitos; b) homologação pelo CTC; c) análise dos recursos apresentados e d) homologação, pelo CTC, dos resultados dos recursos. Horta e Moraes (2005), que estiverem à frente do grupo da GRACH no período, narram que, ao final do processo, 41 Programas tiveram seus conceitos rebaixados, dentre eles 29 programas perderam seus conceitos 7 e 6, dos quais 15 (52%) eram da GRACH, especialmente os das áreas de geografia e educação. Os Programas com conceitos mais altos na avaliação foram exatamente os que Horta (2002) apontou como os que alcançaram índices abaixo da média nos indicadores das atividades diretamente ligadas ao ensino, com tempo médio de titulação e índices de evasão mais altos, baixo índice de matrículas por docente e número de titulados por docente abaixo da média.
A partir disso, surgiram a intensificação e precarização do trabalho docente e a penetração crescente de um ethos empresarial, que altera a cultura acadêmica nas universidades e impõe mudanças ao trabalho dos docentes, que estão se tornando mais conformistas e competitivos. Vários autores tem apontado, desde então, também a mudança do perfil das relações entre pares e o aumento de doenças entre os docentes, que passaram a ser submetidos a uma carga de trabalho e a pressões muito mais intensas. Todo esse cenário é causa de preocupação para Bianchetti e Machado (2007), Moreira, Hortale e Hartz (2004), por exemplo – que apontam um caráter utilitarista na política de avaliação da CAPES.
E, convergindo com esse pensamento, Coraggio (1996) explica as causas dessa orientação utilitarista, evidenciando que as políticas propostas pelo Banco Mundial para a educação ressaltam o reducionismo economicista nas proposições para a área educacional, centradas na visão unilateral de custos e benefícios, o que traduz o caráter utilitarista das políticas (CORAGGIO, 1996).
O Plano Nacional de Educação - PNE (Brasil, 2010), em vigor para a década de 2011 a 2020, possui 20 metas e 32 estratégias, das quais apenas 3 metas tratam diretamente a Educação Superior. Dourado (2002) atenta para, no PNE 2011-2020, a elevação da relação de estudantes por professor e os impactos que tal fato causará na pós-graduação. E ressalta, ainda, a ausência de ampliação dos recursos públicos para as metas e estratégias da Educação Superior.
O PNE de 2001-2010 instituiu o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), por meio do Decreto no 6096, de 24 de Abril de 2007 (MEC, 2007). Contudo, Dourado (2002) assinala que a lógica expansionista e de mercado, ocorre, também, nas avaliações do REUNI, cujo enfoque quantitativo tem ignorado questões como a sobrecarga docente e fixado rígidas metas de desempenho para recebimento de contrapartidas financeiras.
A inquietação suscitada pela orientação atual das Políticas Públicas de Educação, com implicações no que tange ao ensino da pós-graduação e impactos nas atividades docentes – e que perpassa a hegemonia do paradigma quantitativo - ainda é central nas políticas públicas de educação e, consequentemente, na avaliação da pós-graduação.
No que se refere ao atual modelo de avaliação da CAPES, objeto principal deste estudo, explicita-se que ele abrange dois processos: a avaliação dos programas de pós- graduação e a avaliação das propostas de cursos novos de pós-graduação. Esses dois processos de avaliação fazem parte de um mesmo conjunto de princípios, diretrizes e normas, compondo, assim, um único sistema de avaliação que fica sob a responsabilidade dos representantes e consultores acadêmicos.
Integrado a esse sistema, situa-se a ―Coleta CAPES‖, que é um sistema informatizado que visa coletar informações sobre os cursos de mestrado acadêmico e profissional e doutorado. Acoplado também a esse sistema, se posiciona o Qualis, que se consubstancia em uma lista de veículos utilizados para promover a divulgação da produção intelectual dos programas de stricto-sensu. No Qualis são classificados os ―produtos‖ quanto aos âmbitos de circulação (local, nacional e internacional) e de qualidade (A, B, C), conferidos por área de conhecimento. Além desses instrumentos, o modelo de avaliação da CAPES conta com o Sistema de Indicadores de Resultados (SIR), uma ferramenta de apoio à avaliação da pós- graduação.