Pilot Uygulama

A Resolução no 002/2003 do Conselho Federal de Psicologia (2003) regulamentou o uso, a elaboração e a comercialização de instrumentos de avaliação psicológica, orientando os profissionais da área para que limitem seu uso apenas àqueles instrumentos cujas qualidades tenham sido comprovadas cientificamente. Esse documento ressalta a importância de evidências empíricas da validade e precisão dos escores, bem como de dados sobre as propriedades psicométricas dos itens, além da forma de aplicação, correção e interpretação dos escores, no caso de escalas psicométricas como as usadas nessa pesquisa.

A validade de um instrumento de avaliação psicológica refere-se à comprovação de que o mesmo mede o que pretende medir e/ou do nível em que cumpre essa tarefa, sendo essa uma de suas qualidades métricas mais importantes, imprescindível para se reduzir possíveis erros ou equívocos de avaliação (Anastasi & Urbina, 2000; Pasquali, 2001, 2003; Balbinotti, 2005). Aprimorando esse conceito, Urbina (2007) propôs a compreensão da validade como o grau no qual as interpretações obtidas de dados empíricos do teste podem encontrar sustentação científica, evidenciando uma base teórica sólida. A mesma autora considera ainda a importância de se compreender esse conceito não como unitário, como o nome sugere, mas

sim como “evidências de validade”, resultantes das interpretações feitas a partir dos resultados

encontrados em pesquisas com o teste em questão, dado que os instrumentos de avaliação podem possuir diferentes qualidades diante de diferentes propósitos ou numa utilização particular, como junto a populações específicas, por exemplo.

Baseando-se em recomendações técnicas da American Psychological Association (APA), Anastasi e Urbina (2000) e Pasquali (2001) apresentam que, numa visão clássica, a validade de instrumentos de avaliação psicológica pode ser dividida em três tipos: validade de conteúdo, de critério e de construto. A validade de conteúdo refere-se à adequação da representação comportamental do construto a ser medido pelos itens do instrumento. A validade de critério refere-se ao grau de eficácia que o instrumento tem em predizer determinado desempenho de um sujeito no presente ou no futuro. E a validade de construto, também conhecida como validade de conceito, validade intrínseca ou validade fatorial, diz respeito à legitimidade da representação comportamental dos itens, ou o quanto eles realmente

medem dada característica. Essa seria então a forma mais fundamental de validade dos instrumentos, tendo com a evolução conceitual em Psicometria, passado a ser compreendida como um conceito abrangente que inclui as outras formas de validade, dado que as mesmas também apresentam informações sobre o construto e contribuem para a sua validação.

Diante disso, já partindo para a visão contemporânea de “evidências de validade”,

Alves, Souza e Baptista (2011) mencionam a contribuição de Messick para a reformulação da definição tripartite de validade desde 1989, bem como apresentam a distinção da validade de instrumentos de avaliação psicológica baseada nas fontes pelas quais essas evidências podem ser verificadas, considerando nomenclaturas reformuladas pela APA e pela American

Educational Research Association em 1999. São elas: evidências de validade baseadas no

conteúdo (relação entre o conteúdo abordado pelos itens do instrumento e o domínio que se quer avaliar); evidências baseadas nas relações com outras variáveis (tanto aquelas que medem a mesma característica, quanto as que medem características relacionadas ou mesmo características diferentes); evidências baseadas na estrutura interna (relação entre o teste e seus itens); evidências de validade baseadas no processo de resposta (processos mentais presentes na execução das tarefas propostas); e, evidências de validade baseadas nas consequências da testagem (se efeitos decorrentes da mesma foram benéficos ou contribuíram positivamente).

Já a precisão de um instrumento de avaliação psicológica, também conhecida como fidedignidade ou confiabilidade, diz respeito à característica que ele deve possuir de medir sem erros. Isso significa que um mesmo teste medindo as mesmas pessoas em ocasiões diferentes, assim como testes equivalentes medindo os mesmos indivíduos na mesma ocasião, devem produzir resultados idênticos, ou seja, essas medidas devem apresentar uma correlação ideal de valor 1. No entanto, nenhuma medida está livre de erro. Desse modo, a análise da precisão de um instrumento visa identificar precisamente o quanto ele se afasta da correlação ideal, referindo-se à sua estabilidade e consistência (Anastasi & Urbina, 2000; Pasquali, 2001, 2003; Urbina, 2007). Vale destacar ainda que uma boa precisão é condição imprescindível para que um teste seja válido, embora não suficiente, considerando-se que o mesmo pode estar medindo algo que não o que ele se destinou a medir. Por isso a importância de sempre se avaliar evidências de validade, além da precisão.

Essa concepção norteou parte do presente estudo, tendo em vista a utilização de dois instrumentos de avaliação psicológica, cujos aprimoramentos e a consequente análise de suas propriedades psicométricas foram necessários por diferentes razões, sendo: um cuja versão brasileira foi construída e analisada a partir de dados de uma realidade específica (da região

sul do país); e o outro desenvolvido em contexto internacional, demandando a proposição de uma versão brasileira. Foram eles, respectivamente: o Questionário de Educação à Carreira – QEC (Dupont & Gingras, 1990; Balbinotti & Tétreau, 2006a – versão brasileira) e o Career

Development Self-Efficacy Inventory – CD-SEI (Yuen, Hui, Leung, Lau, Chan, Shea, Ke &

Gysbers, 2004; Aguillera & Melo-Silva, 2011 – versão brasileira). Dados os diferentes passos para a preparação e análise de cada instrumento, a seguir serão apresentados separadamente os procedimentos preliminares e a síntese dos aprimoramentos propostos a cada um deles.

4.4.2.1 Adaptação e Análises Iniciais do QEC

Tendo em vista a existência de uma versão brasileira do Questionário de Educação à Carreira – QEC (Dupont & Gingras, 1990; Babinotti & Tétreau, 2006a), essa fase da pesquisa buscou: (a) avaliar a viabilidade de sua utilização junto a adolescentes aprendizes, considerando-se possíveis dificuldades em razão do instrumento ser extenso (96 itens); (b) identificar possíveis necessidades de adaptação da linguagem, haja vista a adoção de expressões regionalistas do sul do país; e (c) realizar a análise semântica e validação de conteúdo das mudanças propostas.

Visando verificar a viabilidade de uso do QEC junto a adolescentes aprendizes, bem como levantar possíveis pontos críticos que demandassem alterações, inicialmente compôs-se um pequeno grupo de adolescentes para aplicação piloto do instrumento e discussão do mesmo, na forma de ensaio experimental. Colaboraram nessa etapa do estudo cinco adolescentes com idade entre 14 e 17 anos, sendo duas moças e três rapazes, alunos do ensino médio em escolas públicas e vinculados a uma instituição formadora de aprendizes através dos cursos de qualificação profissional oferecidos, sendo que apenas três deles estavam inseridos no mercado de trabalho como aprendizes. Apesar de composta por conveniência, vale citar que alguns critérios foram adotados para a composição dessa amostra, de modo a garantir que a mesma representasse o público-alvo da pesquisa em suas diversas características. Com a ajuda de professores e da coordenação pedagógica da instituição, tomou-se o cuidado de contemplar adolescentes que frequentavam o ensino regular em período diurno e noturno, com diferentes níveis de desempenho escolar e dificuldades na leitura e escrita30, iniciantes recém ingressos na instituição e adolescentes já experientes e/ou

30

Vale mencionar o acompanhamento do desempenho escolar dos aprendizes pela instituição, como requisito para mantê-los no programa de Aprendizagem Profissional, fazendo valer recomendações do ECA e da Lei do Aprendiz. Tendo em vista que

em fase de desligamento do programa de aprendizagem profissional, seja por conclusão de contratos de trabalho ou do ensino regular, além de estarem com formação em andamento em diferentes cursos de qualificação oferecidos.

Esses adolescentes foram então convidados a colaborar com a pesquisa, participando de uma reunião com a pesquisadora em sala de aula reservada na instituição. Explicado o propósito dessa etapa da pesquisa, o grupo foi convidado a preencher o instrumento, identificando os termos possivelmente não compreendidos, expondo suas dificuldades em responder ao que foi solicitado, tirando suas dúvidas junto à pesquisadora e apresentando sugestões para a substituição das palavras não compreendidas. Após o preenchimento individual do QEC, passou-se então à leitura e apreciação coletiva de cada item, na qual os adolescentes eram convidados a explicar, com suas próprias palavras, o sentido compreendido. Quando necessário também eram solicitadas sugestões que, em suas opiniões, deixariam os itens mais claros. Para que todos participassem, a pesquisadora intervinha questionando sobre diferentes opiniões, concordâncias e discordâncias, os instigando a darem sugestões, discutirem ou complementarem as opiniões dos colegas. Todas as manifestações dos adolescentes durante o preenchimento do questionário e sua discussão foram registradas.

Adicionalmente, convencionou-se reunir um comitê técnico para apreciação do mesmo instrumento, no intuito de ampliar e/ou confirmar as necessidades de melhoria apontadas pelos adolescentes, dado que os profissionais tinham um contato mais amplo com os aprendizes, vivência com maior número deles e, consequentemente, conhecimento mais abrangente de suas habilidades e dificuldades. O comitê técnico foi composto por profissionais de instituições formadoras de aprendizes, sendo uma pedagoga, que acumula função de professora e coordenadora pedagógica, uma psicóloga do trabalho, responsável pelo acompanhamento da formação e inserção profissional dos adolescentes, e onze formandos em Psicologia, com experiência média de um ano de estágio nas instituições, atuando em diferentes projetos de Orientação Profissional e Educação para a Carreira junto aos adolescentes. A seleção desses participantes se deu também por conveniência, mas respeitando o critério da experiência direta junto aos adolescentes aprendizes das instituições por um prazo mínimo de seis meses.

só permanecem aqueles que comprovam que o trabalho não está prejudicando os estudos, e ainda a seleção inicial para o ingresso na instituição, pressupõe-se que os adolescentes tenham boas habilidades em leitura e escrita. No entanto, o que se observa na prática é que muitos deles apresentam dificuldades nesse sentido, mesmo que essa defasagem não seja refletida nas notas e aprovações escolares. Para garantir a representação de adolescentes com essas dificuldades no grupo, além da observação das notas contou-se com a indicação dos professores.

Após breve apresentação dos objetivos dessa etapa da pesquisa, foi proposto ao comitê a leitura coletiva e a discussão item a item do instrumento, no intuito de avaliar se estavam compreensíveis aos adolescentes, se davam margem à distorção de significado tendo em vista possíveis diferenças culturais, se demandavam mudança de linguagem de modo a torná-los mais acessíveis à população de aprendizes como um todo. A cada item eram julgados seu significado, clareza e necessidades ou não de melhorias, registrando-se sua aprovação ou sugestões de mudanças. A pesquisadora intervinha com questionamentos e, após as apreciações dos técnicos, apresentava a avaliação inicial pelo grupo de adolescentes e solicitava ponderações. Também uma apreciação geral da medida foi solicitada ao final. Todas as opiniões e comentários emitidos pelos componentes do comitê durante a reunião foram registrados.

De posse dos dados das etapas anteriores, procedeu-se uma análise qualitativa, quando foram avaliadas as sugestões e as mais pertinentes foram incorporadas ao questionário, de modo a compor sua nova versão. O próximo passo foi submetê-la à apreciação de juízes, peritos na área de Orientação Profissional e Psicologia do Trabalho, para verificação da equivalência semântica e validação de conteúdo. Colaboraram como juízes cinco psicólogas que são professoras doutoras, atuantes no ensino superior e com experiência nas referidas áreas, sendo três delas paulistas e duas gaúchas com atividades profissionais no estado de São Paulo. A escolha das mesmas se justifica pela origem da versão brasileira do instrumento estudado, que foi validado no Rio Grande do Sul, e pela intenção de uso do mesmo junto a adolescentes trabalhadores do interior paulista.

A primeira versão brasileira do QEC já tinha sido validada conforme as recomendações da literatura especializada, como apresentado em Balbinotti e Tétreau (2002, 2006a). As alterações propostas foram simples, em sua maioria relativas à substituição de poucas palavras, para eliminação de expressões regionalistas ou para adequação da nomenclatura dos períodos escolares, tendo em vista o modelo educacional mais recente no país31. Sendo assim, coube uma avaliação simplificada do conteúdo, restrita à equivalência semântica das instruções e itens adaptados, de modo a garantir, junto aos juízes, que o sentido/significado das expressões se mantinham. Para tanto, utilizou-se o Formulário para

Avaliação de Equivalência Semântica do QEC (Apêndice C), que foi apresentado a três juízes

nas dependências da universidade e enviado por e-mail a outros dois. Como critério de

31_{A versão brasileira original do QEC adota a expressão “segundo grau” em alguns itens. No entanto, desde a reforma na}

legislação brasileira de 1996, com a instituição da nova Lei de Diretrizes e Bases da Educação Brasileira, os anos escolares equivalentes ao segundo grau passaram a compor o atual Ensino Médio (Brasil, 1996).

aprovação adotou-se 80% de concordância mínima entre os juízes, conforme recomendado por Pasquali (2001).

Para finalizar o processo de adaptação semântica e confirmar sua viabilidade de uso junto aos aprendizes, o último procedimento realizado foi novo ensaio experimental, agora com a versão adaptada do QEC. A mesma foi aplicada ao mesmo grupo de adolescentes após três meses da aplicação inicial. Foram dadas as instruções iniciais e solicitado que, em caso de dúvidas, os adolescentes destacassem o item para esclarecimentos no final. Também foi explicado que os objetivos dessa fase eram verificar se o instrumento aprimorado estava propício ao preenchimento independente pelos adolescentes, identificar se dificuldades haviam se mantido, reduzido ou sido sanadas, bem como averiguar o tempo médio para a realização da tarefa. Esse encontro foi encerrado com a discussão do novo instrumento e da vivência de sua reaplicação.

Vale salientar que todos os passos adotados apoiam-se em recomendações da literatura especializada no campo da avaliação psicológica, a saber Anastasi e Urbina (2000), Pasquali (2001, 2003) e Urbina (2007).

4.4.2.2 Síntese dos aprimoramentos propostos ao QEC

Diante dos diferentes passos adotados nessa etapa da pesquisa, convém encerrar as descrições metodológicas da análise e adaptação do QEC com uma breve síntese dos aprimoramentos propostos, bem como das observações registradas.

O Quadro 1 sintetiza as mudanças efetuadas, onde se pode observar as versões originais das instruções e itens do QEC em comparação com as versões adaptadas.

Aspectos analisados Versão Original Versão Adaptada

Instruções gerais Não há instruções gerais.

Esse questionário tem o objetivo de conhecer o que você pensa sobre o trabalho e como tem se preparado para sua carreira. Você deve respondê-lo com a máxima sinceridade, identificando o que melhor representa seu ponto de vista sobre cada aspecto. Para isso, basta assinalar o número referente à sua opinião sobre cada item. (Acréscimo)

Instruções das subescalas

Sentido e Importância do Trabalho:

Que importância e que sentido você

acorda ao trabalho? Para cada uma

das frases que seguem, indique até que ponto você está em "acordo" ou em "desacordo".

Sentido e Importância do Trabalho:

Que importância e que sentido você

atribui ao trabalho? Para cada uma das

frases que seguem, indique até que ponto você está em "acordo" ou em "desacordo". (Substituição)

Aspectos Considerados: Diversos aspectos devem ser colocados em consideração para se efetuar boas escolhas com vistas a carreira ou sua vida de trabalho. Indique em que medida tu pensas conhecer:

Aspectos Considerados: Diversos aspectos devem ser levados em consideração para se efetuar boas escolhas com vistas a carreira ou sua vida de trabalho. Indique em que medida você pensa conhecer: (Substituição)

Profissão preferida: Até este momento você ainda não escolheu, definitivamente, tua profissão (ou

curso superior). Pense,

particularmente, em um grupo de profissões ou de empregos que mais te interessam e indique em que medida você conhece:

Profissão preferida: Até este momento

você ainda não escolheu, definitivamente, sua profissão (ou

curso técnico ou superior, por exemplo). Pense, particularmente, em

um grupo de profissões ou de empregos que mais lhe interessam e indique em que medida você conhece: (Substituição e Acréscimo)

Atividades realizadas: Em que medida

você obteve ajuda e/ou informação das atividades de explorações

seguintes?

Atividades realizadas: Em que medida

você obteve ajuda e/ou informação das atividades seguintes? (Exclusão)

Itens revisados

41. As possibilidades de estudo que são acessíveis para mim, depois do

segundo grau

As possibilidades de estudo que são acessíveis para mim, depois do ensino

médio(Substituição) 43. Um bom número de possibilidades

de formação profissional depois do

segundo grau

Um bom número de possibilidades de formação profissional depois do ensino

médio (Substituição)

61. As possibilidades de progresso As possibilidades de progresso na

carreira (Acréscimo)

81. De vídeos, de filmes ou emissões