Dalâlet

Refletir sobre o instrumento de avaliação foco deste estudo é importante, pois os processos de avaliação psicológica contam com uma grande diversidade de instrumentos utilizados por profissionais na prática cotidiana em variados contextos socioculturais, porém nem sempre adaptados a essas realidades. Dessa forma, fazem-se necessários estudos e discussões no sentido de acautelar as limitações informativas nestes procedimentos, conhecendo os avanços metodológicos na área de avaliação psicológica brasileira, bem como os princípios técnicos desenvolvidos internacionalmente para buscar assegurar a melhoria de qualidade destes processos na prática profissional.

Neiva (1998, 1999, 2002) refere que a EMEP possui três versões, sendo a primeira na língua francesa, a segunda em espanhol e a terceira em português, tendo sido publicada no Brasil em 1999. A primeira versão foi construída por Neiva em 1994, tomando como

referência a Escala de Atitudes (B-1) do CMI (Career Maturity Inventory) de Crites40 (1965 apud NEIVA, 1999) para a elaboração de alguns itens das subescalas de determinação, responsabilidade e independência. Nessa primeira versão a escala era dicotômica e “não se realizou nenhum estudo consistente de validade e fidedignidade com esta versão, pois a amostra, com a qual a escala foi utilizada, era muito pequena” (NEIVA, 1999, p. 12). Esta escala foi aplicada em alunos de uma escola franco-mexicana, na cidade do México, antes e após a participação em um grupo de Orientação Vocacional/Profissional.

A segunda versão da EMEP foi elaborada em 1995 na língua espanhola, havendo reformulações, eliminações e construções de alguns itens, compondo no total 46 itens. A escala, que antes apresentava respostas dicotômicas, tornou-se do tipo Likert com cinco modalidades de respostas, sem valor absoluto, ordinal quanto ao item, mas intervalar quanto ao resultado final (ALMEIDA; FREIRE, 1997). Essa segunda versão da EMEP, aplicada a um grupo de cerca de 600 alunos mexicanos do ensino médio de escolas particulares, foi submetida a um estudo de validade e fidedignidade e recebeu normas para as três séries do ensino médio (NEIVA, 1998, 1999, 2002).

Em 1996, foi construída a terceira e última versão da EMEP, na língua portuguesa (do Brasil), sendo mantida a estrutura da versão espanhola, com a tradução de 40 itens. Foram acrescentados seis novos itens, em sua maioria da subescala independência. Essa modificação ocorreu devido a problemas de validade e fidedignidade encontrados no estudo anterior. Para a adequação dos itens, Neiva (1998, 1999, 2002) refere ter tomado cuidados específicos na redação das afirmativas da escala, de forma que todos os enunciados tivessem uma forma gramatical compatível com as modalidades de resposta e fosse de fácil compreensão. Posteriormente houve a eliminação de um único item que não demonstrou validade. A amostragem desse estudo, foi constituída por duas amostras de sujeitos de ambos os sexos, estudantes das três séries do Ensino Médio na cidade de São Paulo, sendo 506 alunos de uma escola particular e 670 alunos de uma escola pública, de onde foram extraídas as normas (NEIVA, 1998, 1999, 2002).

Na delimitação da população à qual se destina o instrumento EMEP, houve a caracterização quanto aos aspectos sociodemográficos (idade, série, tipo de escola) e localização (cidade de São Paulo). A amostra obedece ao parâmetro de possuir as mesmas características básicas da população no que diz respeito às variáveis que se quer pesquisar. Observa-se que a técnica para sua obtenção foi a de amostragem estratificada, segundo as

40 _{CRITES, J.O. Measurement of vocational maturity in adolescence: I. Attitude Test of Vocational Development}

características de série escolar e tipo de escola. Foram criadas tabelas de normas para os alunos de escolas particulares e públicas das três séries do Ensino Médio (NEIVA, 1998, 1999, 2002).

Para os estudos de validade e fidedignidade da escala, foi utilizada a amostra dos 506 sujeitos, masculinos e femininos, de 13 a 19 anos, alunos do Ensino Médio de uma escola particular da cidade de São Paulo, já referida. A validade foi estudada através dos procedimentos de análise fatorial e análise discriminativa das subescalas e escala total quanto às variáveis de natureza temporal (idade e nível de escolaridade) e a confiabilidade ou fidedignidade foi estimada por meio do coeficiente de consistência interna alfa de Cronbach (NEIVA, 1998, 1999).

As cargas fatoriais dos itens da EMEP obtidos por meio da análise fatorial variaram entre 0,31 e 0,84. A análise fatorial de rotação varimax revelou 8 fatores com eigenvalue superior a 1, explicando 52,2% da variância, sendo que o fator 1 explicou sozinho 22,1% da mesma. Os 8 fatores obtidos corresponderam, individual ou conjuntamente, às cinco subescalas incluídas no modelo teórico do instrumento. Os fatores 1, 2 e 3 corresponderam, individualmente, às subescalas determinação, autoconhecimento e conhecimento da realidade. Os fatores 4 e 5 corresponderam juntos à subescala responsabilidade e os fatores 6, 7 e 8 à subescala independência (NEIVA, 1998, 1999).

Para a análise discriminativa do nível de escolaridade foi efetuada a comparação dos escores médios das três séries do Ensino Médio, duas a duas, por meio do teste t de Student. Verificou-se a existência de diferenças estatisticamente significativas (p<0,05) revelando que o grau de maturidade total dos alunos aumenta de acordo com a série escolar e a idade. Observou-se ainda que as dimensões que compõem a maturidade para a escolha profissional se desenvolvem de maneiras diferentes: a determinação aumenta progressivamente da 1ª para a 2ª e da 2ª para a 3ª série; a responsabilidade cresce da 1ª para a 2ª e se estabiliza; o autoconhecimento aumenta da 1ª para a 2ª e o conhecimento da realidade da 2ª para a 3ª série. Na comparação estatística dos alunos da 2ª com os da 3ª série, contrariamente ao esperado, os alunos da 3ª série se mostraram menos independentes do que os de 1ª e 2ª série, o que põe em dúvida a sensibilidade discriminativa da subescala independência e contradiz as expectativas teóricas. Já na análise discriminativa com relação à variável temporal idade, foram comparados dois grupos extremos (13-15 anos com 17-19 anos), com resultados41 confirmando a validade discriminativa da escala total e de todas as subescalas, com exceção

41 _{Os resultados mostraram que o grupo 17-19 anos apresenta escores médios estatisticamente superiores ao}

da subescala independência [que apresentava problemas de validade e fidedignidade na versão espanhola do teste, já apontados por Neiva (1999) conforme consta do manual, p.12]. Com base nos resultados, a autora constatou a capacidade discriminativa da escala quanto às séries escolares e à idade, avaliando que a escala discrimina relativamente bem o aumento do nível de maturidade (NEIVA, 1998, 1999).

Além dos estudos referidos, Neiva (2000) propôs verificar a utilidade da EMEP como instrumento de avaliação da evolução do orientando durante o processo de Orientação Vocacional/Profissional. Para tanto, a referida autora verificou a validade de construção através do procedimento proposto por Brown (1980), chamado manipulação instrumental. Este procedimento consiste em manipular experimentalmente uma variável e comparar os resultados obtidos no pré e pós-teste para verificar os efeitos sobre a pontuação do teste. Compôs esse estudo uma amostra de 45 sujeitos em processo de Orientação Vocacional/Profissional. Os resultados indicaram aumento significativo em todas as dimensões da escala e na escala total após o processo de intervenção. A autora confirmou que a escala detecta a evolução do orientando, que pode ser utilizada como instrumento de avaliação desta evolução e que os resultados comprovaram por meio do procedimento de manipulação instrumental a validade de construção.

A fidedignidade da EMEP, estudada a partir da amostra já referida de 506 sujeitos da cidade de São Paulo, foi estimada por meio do coeficiente de consistência interna alfa de Cronbach. Os coeficientes encontrados foram todos superiores a 0,75, conforme segue: determinação 0,91; responsabilidade 0,79; independência 0,77; autoconhecimento 0,79; conhecimento da realidade educativa e socioprofissional 0,83 e escala total com valor alfa = 0,91. Os índices de fidedignidade estimados indicaram um nível de consistência interna satisfatório em todas as subescalas e adequada homogeneidade dos itens para a escala total, o que mostra a fidedignidade da EMEP42 (NEIVA, 1998, 1999, 2002).

A autora ainda comparou os resultados de fidedignidade obtidos em seu estudo com os obtidos por Crites (1978b), na escala de atitudes (B-1) do CMI, e por Japur e Jacquemin (1989), na versão brasileira da mesma escala. Observou-se que os coeficientes de consistência interna encontrados por estes autores foram inferiores aos da EMEP (NEIVA, 1998, 1999).

42 _{Em recente estudo de Lassance, Bardagi e Teixeira (2009) foram calculados índices de fidedignidade alfa de}

Cronbach para as escalas da EMEP, tanto antes quanto depois de uma intervenção vocacional, e os resultados

confirmaram a consistência interna do instrumento. Para a escala total foram encontrados os valores de 0,85 (antes) e 0,87 (depois). Com relação às subescalas foram encontrados os seguintes valores respectivamente a pré e a pós-intervenção: determinação (0,79 e 0,84), responsabilidade (0,69 e 0,76), independência (0,77 e 0,79), autoconhecimento (0,71 e 0,71), conhecimento da realidade (0,79 e 0,81) e maturidade total (0,85e 0,87).

Foi também efetuada a correlação (r de Pearson) entre as subescalas. Observou-se que as subescalas se correlacionam moderadamente, indicando, segundo Neiva (1998, 1999), que apesar de serem independentes, as subescalas medem algo em comum, o que reforça o modelo de maturidade para a escolha profissional proposto por ela. Os menores coeficientes de correlação encontrados foram entre as subescalas independência e responsabilidade (r = 0,13; p = 0,003) e entre as subescalas independência e conhecimento da realidade (r = 0,14; p = 0,002), entretanto ambos coeficientes foram estatisticamente significativos (p<0,05).

Concluindo os estudos realizados, Neiva (1998, 1999) afirma que a EMEP demonstrou ser um instrumento que pode ser usado para avaliar o nível de maturidade para a escolha profissional de adolescentes, pois é uma medida válida e precisa, com seus itens possuindo um grau da homogeneidade satisfatório. No entanto, demonstrando preocupação com a qualidade do instrumento, nas conclusões do estudo de validade e fidedignidade da EMEP, Neiva (1998, p.57) enfatiza as limitações apresentadas pela subescala independência:

[...] vale ressaltar que a subescala de Independência apresentou algumas limitações com relação à sua validade. Além de não constituir um fator puro (validez de construção), não demonstrou validade discriminativa com relação às variáveis temporais: escolaridade e idade. Em contrapartida, observou-se que a mesma tem um nível de consistência interna aceitável. Seria interessante prosseguir investigando, com outras amostras, as qualidades métricas desta subescala, antes de tomar uma decisão final quanto à sua inclusão ou não na EMEP.

Apesar dessa consideração, a autora avalia “[...] que os resultados relacionados à escala total (EMEP) permitem que ela seja utilizada como instrumento psicológico para o fim ao qual se propõe” (NEIVA, 1998, p. 57).

Mais recentemente, Neiva et al. (2005) desenvolveram um estudo em Curitiba (PR) com uma amostra de 950 sujeitos a fim de verificar diferenças no nível de maturidade para a escolha profissional em função de características sociodemográficas (sexo, tipo de escola, turno e série escolar), já referido, e a EMEP mostrou ser uma escala sensível, discriminando adequadamente as diferenças.

Ressalta-se a importância de verificar a validade dos testes antecipadamente à sua utilização e para qual uso foram elaborados, já que devem ser feitos estudos formais de validação ao se construir ou adaptar um instrumento de avaliação. E, sempre que possível, atualizar informações relacionadas às normas, precisão e validade do teste, fornecendo dados relevantes aos autores, editores e pesquisadores (BUNCHAFT; CAVAS, 2002, URBINA, 2007). Nesse sentido, o presente estudo visa contribuir para a produção do conhecimento

sobre a EMEP e sua utilidade na intervenção, dando sequência à linha investigativa da autora da escala e de outros pesquisadores.

No Brasil, os instrumentos de avaliação psicológica voltados para a avaliação em Orientação Vocacional foram desenvolvidos no contexto da Psicologia Clínica ou Educacional. Nas últimas décadas do século XX o uso de instrumentos de avaliação psicológica, em geral, sofreu críticas decorrentes da ausência de rigor na sistematização das informações sobre validade e padronização, gerando descrédito nos procedimentos avaliativos, incluindo a avaliação vocacional. No intuito de buscar soluções para essa questão o Conselho Federal de Psicologia (CFP) instituiu uma Comissão Consultiva de Avaliação Psicológica (Resolução CFP 25/2001), cujo trabalho resultou na regulamentação dos procedimentos para a avaliação dos instrumentos psicológicos (Resolução CFP 02/2003) com a criação do Sistema de Avaliação de Testes Psicológicos (SATEPSI). O CFP passou então a definir e regulamentar o uso, a elaboração e a comercialização de testes psicológicos no Brasil. É somente após criteriosa avaliação quanto a qualidade técnica que os instrumentos, com parecer favorável, são liberados para utilização por profissionais psicólogos.

Dentre os instrumentos inseridos na linha de investigação do desenvolvimento vocacional, cumpre destacar os avaliados e aprovados, constantes da mais recente lista do SATEPSI, divulgada em março de 2010 (www.pol.org/satepsi, acesso em 23 de agosto de 2010), listados a seguir em ordem cronológica de edição: EMEP – Escala de Maturidade para a Escolha Profissional (NEIVA, 1999), BBT – Teste de Fotos de Profissões (JACQUEMIN, 2000), QUATI – Questionário de Avaliação Tipológica (ZACHARIAS, 2003), BBT-Br – Forma Feminina (JACQUEMIN; OKINO; NOCE; ASSONI; PASIAN, 2006), EAP – Escala de Aconselhamento Profissional (NORONHA; SISTO; SANTOS, 2007), HumanGuide (WELTER, 2007), IAO – Inventário de Avaliação Ocupacional (SOFAL, 2007), AIP – Avaliação dos Interesses Profissionais (LEVENFUS; BANDEIRA, 2009) e SDS – Questionário de Busca Auto-Dirigida (PRIMI; MANSÃO; MUNIZ; NUNES, 2010).

Diante do exposto, cabe reconhecer o mérito da EMEP como instrumento pioneiro na área da Orientação Vocacional/Profissional para avaliação da maturidade e por figurar entre os aprovados em 2003, ano de criação do SATEPSI. Soma-se a isso o fato de a EMEP ser um instrumento de fácil manuseio e aplicação.

Avaliar pessoas, processos e resultados com o uso de instrumentos qualificados e aprovados pelo SATEPSI em Orientação Vocacional/Profissional é relevante para a intervenção de carreira. Este estudo focaliza a avaliação de adolescentes na dimensão maturidade para a escolha profissional e, a partir da análise da evolução (ou não) da

maturidade, busca avaliar os resultados da intervenção vocacional. Indiretamente, o estudo objetiva ainda contribuir com as investigações sobre instrumentos de avaliação, neste caso, a EMEP.