Maria Inês Giordani Silveira é formada em psicologia pela Universidade Federal Fluminense, tem mestrado em psicologia social pela Universidade de Kent, Inglaterra, e especialização em psicodesenvolvimento pela Hampstead Clinic, em Londres Foi psicóloga da área de recrutamento e seleção da Universidade Federal do Rio de Janeiro e coordenadora acadêmica da Divisão de Concursos do Núcleo de Computação Eletrônica na mesma instituição. Com experiência consolidada em avaliação em processos de grande porte, foi coordenadora acadêmica e consultora na gestão de bancos de questões, exames de certificação e concursos públicos para órgãos do Judiciário Estadual e Federal, Defensorias Públicas, Ministério Público e outras instituições. Como Coordenadora Acadêmica do Núcleo de Concursos, atua na gestão do processo acadêmico da organização de concursos públicos.
Definir o que deve ser avaliado em um concurso público é uma tarefa complexa, que tem início a partir do levantamento das competências técnicas inerentes aos cargos objeto da seleção, passa pela definição das disciplinas que comporão as provas e culmina na composição dos conteúdos programáticos. A avaliação envolve uma operação complexa e de grande porte. O artigo de Maria Inês Giordani Silveira apresenta, em detalhes, todo o processo de elaboração de concursos, e oferece algumas sugestões para quem está se preparando para prestar os exames.
Maria Inês Giordani Silveira
Coordenadora Acadêmica do Núcleo de Concursos
Resumo
AR
João Luiz levantou cedo, tro- cou de roupa e saiu apressado, caneta da sorte no bolso – a mesma que usou anos atrás na prova do vestibular. Os portões fechavam às oito horas, não po- dia se arriscar a perder a prova. Como ele, milhares de pessoas se dirigiam aos locais mais pró- ximos de casa para prestar os exames, cientes (quase todos) de que as vagas seriam ocupa- das por aqueles que se mostras- sem mais bem preparados.
João Luiz tem sorte por ter nascido na nos- sa época; o acesso ao serviço público não foi sempre baseado no mérito. O processo de admissão que se utiliza hoje, no entanto, tem fundamento num princípio desenvolvi- do cinco séculos antes de Cristo, pelo pensa- dor Confúcio. Confúcio defendia que o mé- rito era derivado do conhecimento, e não do berço ou do poderio militar, como ditava a regra na época. Imbuído desse espírito, o im- perador chinês Shih Huang-ti foi o primeiro governante a organizar sua administração, com base no merecimento proveniente do saber – mas não totalmente, porque é bem verdade que reservou para seus familiares os postos mais altos no governo.
Em nossos dias, os conhecimentos valoriza- dos são muito diferentes daqueles que Con- fúcio considerava importantes, mas o princí- pio que embasa os processos seletivos segue exatamente o mesmo: a definição de supe- rioridade pelo merecimento está atrelada ao
desempenho em diversos tipos de avaliações e testes. Temos como exemplo, no Brasil, os vestibulares, o Exame Nacional do Ensino Médio (Enem) e o exame da Ordem dos Ad- vogados do Brasil (OAB). Nos Estados Uni- dos, são famosos, entre outros, o Scholastic
Achievement Test (SAT), para admissão ao
ensino de graduação, o Graduate Record
Examination (GRE), para pós-graduações
acadêmicas, e o United States Medical Li-
censing Examination (USMLE), para licen-
ciamento médico. Nesses e em muitos ou- tros países, são comuns também as aferições para certificação, além de inúmeros outros exames para licenciamento profissional ou ingresso em uma instituição.
O concurso para admissão no serviço públi- co se destina a selecionar e classificar os me- lhores candidatos para as vagas oferecidas. Mas os melhores em quê? Definir o que deve ser avaliado é uma tarefa complexa, que tem início a partir do levantamento das compe- tências técnicas inerentes aos cargos objeto da seleção, passa pela definição das discipli- nas que comporão as provas e culmina na composição dos conteúdos programáticos. Assim como o edital regulamenta todo o concurso, o conteúdo programático deter- mina a matéria sobre a qual versará a prova, orientando a preparação do candidato. O programa ideal avalia competências que te- nham forte correlação com o desempenho de um profissional no cargo a que se candidata. Como não é possível fazer um estudo experi- mental sistemático dessa correlação para cada caso de avaliação objetiva, todo concurso conta com a experiência de especialistas para garantir que a prova esteja de fato aferindo os conhecimentos relevantes para o cargo. “Between stimulus and response there is a space. In that space is our power to choose our response.
In our response lies our growth and our freedom. Victor E. Frankl
Estabelecidas as diretrizes para o certame, o próximo passo na organização do concurso é compor a banca examinadora, integrada por professores e profissionais altamente es- pecializados, selecionados a partir da expe- riência de ensino e dos conhecimentos exigi- dos para o teste, entre outros critérios. Como sabido, as questões de múltipla escolha, que constituem a parte principal da maioria das provas, são fáceis de corrigir, mas difíceis de elaborar, tendo em vista que precisam aten- der a uma série de quesitos técnicos. Embora fundamental, o domínio do assunto não ga- rante necessariamente boas questões. É pre- ciso desenvolver uma habilidade especial, que inclui, por exemplo, construir opções plausíveis, atraentes para quem não conhece o assunto, e homogêneas no teor e na for- ma, para garantir a validade da medida. Isso nem sempre é fácil para os professores que não utilizam esse tipo de questão em suas atividades rotineiras de ensino.
Para garantir questões de alta qualidade, a equipe acadêmica da FGV proporciona sis- tematicamente toda a orientação e o apoio técnico necessários, coordenando e acompa- nhando todo o processo. A prova é então modelada passo a passo: as questões são graduadas de acordo com diferentes habili-
dades cognitivas, que vão da memorização à aplicação do conhecimento em situações novas e ao julgamento crítico; e vários ní- veis de dificuldade, definidos em função das competências levantadas e do público-alvo. Todos os procedimentos são coordenados pela FGV, de acordo com rígidas normas de segurança, que asseguram a manutenção do sigilo nas várias fases de desenvolvimento dos testes, da elaboração até a impressão do material definitivo.
Após a fase inicial de elaboração, as questões são analisadas por uma equipe de profissio- nais especializados, que valida o conteúdo e seleciona aquelas que mais provavelmente integrarão a prova. Segue-se a revisão de or- dem técnica, em que são verificadas a ade- quação ao público-alvo, a clareza, a consis- tência lógica e a correção da linguagem. Os itens insatisfatórios são excluídos e os que requerem adequações são reencaminhados à banca para melhorias. Uma questão pode ser excluída por várias razões, como por exemplo: ser redundante em relação a outras partes da prova, basear-se em memorização em vez de compreensão da matéria, ou re- querer conhecimento irrelevante para o de- sempenho do candidato no cargo. O proces- so se repete até que todas as questões sejam aprovadas em conteúdo e quesitos técnicos.
João Luis recebe um caderno de testes com 80 questões de múl- tipla escolha. Terá quatro horas para as respostas e a marcação do cartão. Ele se agita na cadei- ra, ansioso. Chega a pensar em desistir.
O cOncursO para
admissãO nO
serviçO públicO
se destina a
seleciOnar e
classificar
Os melHOres
candidatOs para as
vagas Oferecidas.
mas Os melHOres
em guê?
70 71
CADERNOS FGV PROJETOS | CONCURSOS, EXAMES E CERTIFICAÇÕES
A FGV Projetos vem organizando concursos para as mais diversas entidades públicas já de longa data. Como não poderia deixar de ser, os preparativos necessários para testar tantos candidatos envolvem uma operação de alta complexidade. Só em 2014, cerca de 500 elaboradores trabalharam na confecção de 12 mil questões, distribuídas por um lar- go espectro de conhecimentos acadêmicos e práticos. Os testes podem incluir redações, questões discursivas e prova oral, mas a maior parte se compõe de itens objetivos de múltipla escolha, uma tendência mundial nas avaliações de médio e grande porte.
completa possível pelo conteúdo do progra- ma. Uma prova com poucas questões, como ocorre com aquelas que só contêm itens discursivos, restringe-se necessariamente a poucos tópicos da matéria. Esse conteúdo restrito nem sempre permite uma avaliação confiável. Além de mais abrangente, a pro- va de múltipla escolha é também mais pre- cisa – as respostas certas são predefinidas, independentes de julgamento pessoal, o que é, reconhecidamente, um ponto a seu favor. Quando elaboradas de forma tecnicamente correta, essas questões adaptam-se facilmen- te aos mais diversos temas e podem avaliar de forma confiável as várias formas de racio- cínio complexo. Por requerer uma atitude crítica ao solicitar a análise de várias opções de resposta, seu alcance pode ir muito além da mera memorização de dados e fatos. E o que é mais surpreendente: contrariando o que comumente se pensa, provas com ques- tões objetivas têm o grande mérito de limi- tar o acerto por sorte. É só fazer a conta: a probabilidade de responder corretamente ao acaso 20 questões com cinco opções de res- posta é de 0,2 20. Isso quer dizer que somente
um em 80 trilhões de candidatos gabaritaria a prova sem saber nada da matéria. É mil vezes mais provável ganhar na loteria. Para os que ainda têm dúvidas a respeito da validade da avaliação feita por esse tipo de prova, vale ressaltar que, além de apresentar uma comparação mais precisa entre os can- didatos, as questões objetivas podem avaliar as mesmas competências aferidas pelos itens de resposta aberta. Foi o que demonstraram os experimentos de pesquisadores do reno- mado Educational Testing Service, em New Jersey, instituição que administra anualmen- te 20 milhões de exames nos Estados Unidos e em outros 180 países. Nesses experimen- tos, publicados no Journal of Educational Measurement,1 questões de múltipla escolha
do Graduate Record Examination General
Test foram convertidas em questões dis-
cursivas e depois aplicadas juntamente com itens abertos que avaliavam outras compe- tências. Por meio, principalmente, de aná-