Üçüncü Yaş Turistlerde Tatil Kararını Etkileyen Sosyo-Demografik Değişkenler

Diversas instituições na Europa e nos Estados Unidos têm se dedicado ao desenvolvimento do processo de ensino, aprendizagem e avaliação de LE. Tal esforço parece se basear na importância desse processo para os objetivos da vida em sociedade que movem pessoas rumo a avaliações em LE no mundo todo. Para tanto, essas instituições têm a responsabilidade de desenvolver instrumentos de avaliação com compromisso com a justiça e confiabilidade, ou seja, oferecem resultados consistentes e precisos. Há também a responsabilidade em torno da qualidade das avaliações, representatividade, praticidade e autenticidade, aspectos que permeiam a questão da validade e que demonstram uma reflexão sobre a capacidade subjacente de um examinando por meio dos resultados da avaliação.

Segundo Bachman e Palmer (1996), as variáveis individuais e contextuais influenciam no desempenho dos candidatos em avaliações de proficiência. Ou seja, de acordo com os autores, as características da avaliação, juntamente com a interação entre as características individuais do examinando, as competências linguísticas, textuais, discursivas e sociolingüísticas e a competência estratégica, implicam no desempenho em testes de proficiência, sendo impossível suprimir o efeito desses elementos externos à proficiência e, portanto, vale considerar tais aspectos no escopo da avaliação.

Para que os aspectos relacionados à questão da validade e da avaliação sejam assegurados, pesquisas são desenvolvidas extensivamente no intuito de examinar de maneira precisa o modo como determinados testes acontecem e como se atrelam às teorias recentes da área de avaliação, como é o caso das pesquisas desenvolvidas por Cambridge ESOL. Instituições de pesquisas como essa investem intensamente em estudos empíricos e

monitoração de desenvolvimento de testes, acompanhamento que se estende desde os estágios iniciais até as revisões realizadas periodicamente.

De acordo com Lazaraton (2002), alguns estudos a respeito da comparação entre formatos de testes foram desenvolvidos com o objetivo de se verificar o discurso produzido, ou seja, o desempenho. A autora cita o estudo conduzido por Shohamy (1994), que afirma que a validação de testes pode se beneficiar por meio de dados provenientes de fontes diferentes.

Em seu estudo, Shohamy (op. cit.) analisou a validade de dois testes orais da língua hebraica: um teste direto que conta com o formato face a face (OPI - Oral Proficiency Interview) e um teste semidireto mediado por gravação em áudio (SOPI - Simulated Oral Proficiency Interview). Por meio de uma análise de correlação, a pesquisadora observa que os dois testes têm uma validade concomitante alta. No entanto, a análise qualitativa indicou que os testes se diferenciam em muitos aspectos, como por exemplo, que o teste direto OPI é mais indicado a examinandos com nível de proficiência alto enquanto o teste semidireto, mais indicado aos examinandos de nível baixo. A partir das diferenças observadas, Shohamy (op.cit.) afirma que o processo de validação de um teste pode ser enfatizado por meio da análise de dados provenientes de várias perspectivas.

Lazaraton (op.cit.) menciona outros estudos que envolvem a comparação de formatos de testes. Segundo a autora, o estudo de O‟Loughlin (1995, apud LAZARATON, op.cit) observou a densidade lexical no discurso de vinte candidatos nos testes OPI e SOPI, sendo que cada formato empregou tarefas diferentes. As transcrições foram codificadas de acordo com as características da densidade lexical. Os resultados indicaram que o efeito do formato do teste, tarefa e a interação foram estatisticamente significativos, mas as diferenças não eram grandes.

Ainda para ilustrar a comparação entre testes de formatos diferentes, Lazaraton (op.cit.) cita o estudo de Kormos (1999, apud LAZARATON, op.cit) em que o desempenho

em entrevistas livres com trinta alunos foi comparado com roleplays, desempemho de papéis ou simulações bastante comuns em aulas de ILE. A autora salienta que a análise foi baseada em várias características e que a dinâmica de encenação (roleplay) proporcionou a observação de uma interação mais simétrica, que os candidatos introduziram e demonstraram mais tópicos e que foram capazes tanto de interromper, como de começar e terminar as interações. Segundo Lazaraton (2002), a autora observa que o roleplay é uma maneira de atingir a competência conversacional em situação de entrevista oral.

Três testes, o SPEAK, o OPI e um teste de desempenho específico da instituição, utilizados para avaliar a capacidade de assistentes de ensino internacional, foram examinados no estudo de Hoekje e Linell (1994, apud LAZARATON, op.cit.). Nesse estudo, com base nas definições de autenticidade de Bachman (1990, 1991), foram observados os aspectos do método, o discurso promovido e sua semelhança com o uso da língua no contexto alvo. A análise qualitativa desenvolvida proporcionou concluir que os três testes apresentam diferenças consideráveis sobre a linguagem produzida, sendo o teste de desempenho o melhor para os objetivos da pesquisa.

Os estudos citados por Lazaraton (op.cit.) têm a característica comum de analisar o discurso produzido em entrevistas orais e, portanto, se referem à validação do discurso. Segundo a autora, os resultados de pesquisas que comparam testes diferentes pretendem auxiliar o entendimento da natureza da interação em situações de avaliação de LE.

Assim, cabe ressaltar que a comparação entre testes diferentes se baseia em um critério comum, como por exemplo, no caso dos estudos mencionados por Lazaraton (op.cit), analisou-se o discurso produzido.

Alguns estudos mais recentes a respeito da comparação entre testes diferentes, como os desenvolvidos pela organização Educational Testing Service (ETS) se baseiam nas notas obtidas nos instrumentos. Porém, tal comparação parece apenas ser útil no que concerne às

tarefas que avaliam as mesmas habilidades, pois obviamente as diferenças não permitem que se estabeleça uma comparação exata. No entanto, as pesquisas apresentadas pela ETS procuram encorajar as instituições envolvidas com avaliação de proficiência em língua inglesa a separarem as notas por habilidade31 com o intuito de assegurar que as habilidades de um indivíduo possam ser analisadas para diversas finalidades.

No que concerne ao processo de avaliação oral nos exames de Cambridge ESOL, após um levantamento da literatura, foi possível identificar que, de acordo com o projeto do grupo de pesquisa e validação32 de Cambridge ESOL (2009), os estudos conduzidos a respeito dos testes orais enfocam o papel do examinador e o uso das escalas. De acordo com o manual do CEFR, as escalas e os níveis dos principais exames de Cambridge ESOL (Main Suite) se alinham ao CEFR, conforme ilustrado na figura 5:

Figura 5: Exames de Cambridge ESOL por níveis do CEFR

31

Habilidades no sentido de habilidades linguísticas, o conhecimento de leitura, escrita, compreensão oral e produção oral.

Assim, é possível inferir que os examinadores de Cambridge ESOL fazem uso de dois tipos de escalas de descritores provenientes do CEFR: a escala holística (global) (COE, 2001, p. 24, Anexo 2) e a escala analítica (COE, 2001, p. 28-29, Anexos 3, 4 e 5). A escala analítica contém cinco critérios, a saber: Abrangência (Range), Acuidade (Accuracy), Fluência (Fluency), Interação (Interaction) e Coerência (Coherence). Vale ressaltar, também com base no projeto do grupo de pesquisa e validação de Cambridge ESOL (op.cit.), que as escalas do CEFR utilizadas são adaptadas a partir da necessidade dos examinadores em se ter um maior aproveitamento da escala disponível (Anexo 3). Mais duas linhas divisórias foram atribuídas (A1+ e C1+, Anexo 4) entre os níveis e linhas divisórias já existentes (A1, A2, A2+, B1, B1+, B2, B2+, C1 E C2) para a necessidade de se atribuir um nível extra a uma nota.

Ainda no que diz respeito ao uso das escalas de descritores do CEFR nos testes orais de Cambridge ESOL, é interessante notar a presença de uma observação, ao final da escala global, que direciona o fazer dos examinadores, ilustrada na figura 6. Há uma orientação para que a escala global seja utilizada durante os primeiros minutos do teste oral e então se decida o nível do candidato de maneira aproximada, sendo que somente após tal procedimento recomenda-se utilizar a escala analítica para avaliar detalhadamente os descritores referentes ao nível inferido pelo examinador.

Figura 6: Instrução contida na escala global/Cambridge ESOL33

33

Tradução: Use esta escala nos primeiros 2-3 minutos de uma amostra da fala para decidir aproximadamente em que nível você acha que o falante está. / Em seguida, mude para a Tabela 5.5 (CEFR Tabela 3) e avalie o desempenho detalhadamente em relação aos descritores para esse nível.

Além de destacar a maneira como Cambridge ESOL utiliza as escalas do CEFR em seu recente projeto, vale mencionar a aproximação das equivalências de notas entre níveis. No que concerne aos descritores de proficiência, segundo estudos mais recentes a respeito dos testes orais de Cambridge ESOL (GALACZI e FFRENCH, 2007; GALACZI e KHALIFA, 2009), cada descritor utilizado por seus principais testes orais se organiza em uma escala comum de forma que os descritores KET/A2 Faixa 5 são idênticos aos do PET/B1 Faixa 3 e aos do FCE/B2 Faixa 1. Tal arranjo sugere que há uma aproximação entre cada uma das faixas mencionadas para três diferentes níveis, o que sugere equivalências de níveis, conforme ilustrado no quadro 1:

Quadro 1: Equivalência de faixas entre testes de níveis diferentes (CAMBRIDGE ESOL)

Testes KET (CEFR: A2) PET (CEFR: B1) FCE (CEFR: B2) Faixas ( B ands ) Band 5 Band 4 Band 5 Band 3 Band 4 Band 2

Band 5 Band 3 Band 1

Band 4 Band 2

Band 3 Band 1

Band 2 Band 1

De acordo com Galaczi e Ffrench (2007), os descritores para cada nível seguem um modelo comum nas escalas de avaliação utilizadas por Cambridge ESOL, uma vez que são escritos de maneira semelhante, mas interpretados ao nível de cada exame (WEIR & MILANOVIC, 2003, apud GALACZI e FFRENCH, op. cit.). No entanto, não foi possível encontrar na literatura específica nenhum registro dos descritores contidos em cada faixa (Band). Infere-se, assim, que a utilização do CEFR pelos examinadores de Cambridge ESOL, feita com base nas escalas global e analítica contam com uma estruturação detalhada para

cada um de seus níveis. Esse detalhamento se encontra nas escalas do Conselho da Europa (COE; Anexo 7) denominadas de ilustrativas e que enfocam diversos aspectos das atividades de comunicação.

As escalas ilustrativas do COE parecem fundamentar a escala global do CEFR, pois apresentam um detalhamento minucioso sobre interação oral, produção oral, competência linguístico-comunicativa, sendo que esta última inclui o tópico Abrangência de Vocabulário (Vocabulary Range). Assim, para o nível do FCE, que corresponde ao nível B2 do CEFR, tem-se o seguinte detalhamento sobre a competência lexical, destacado no quadro 2:

Quadro 2: Descritor de abrangência de vocabulário do CEFR – Nível B2 (FCE)34

VOCABULARY RANGE

B2

Has a good range of vocabulary for matters connected to his field and most general topics?35 Can vary formulation to avoid frequent repetition, but lexical gaps can still cause hesitation and

circumlocution.

O descritor de vocabulário para o nível B2 faz referência à existência de boa Abrangência de Vocabulário para assuntos relacionados à sua área e à maioria de tópicos gerais, informação que é somente complementada por meio da associação às outras escalas do CEFR, pois elas são interligadas em uma hierarquia subjacente (COE, s/d). Para a produção oral, por exemplo, há escalas a respeito de como o candidato faz uma descrição de experiência, como articula um debate e um anúncio em público e ainda, como fala para uma audiência. No que concerne às estratégias de comunicação, há uma escala de recepção para descrever como o candidato identifica aspectos e faz inferências, na oralidade ou na escrita. As escalas de interação

34 _{Tradução (pontuação de acordo com o original): Tem boa abrangência de vocabulário para assuntos} relacionados à sua área e tópicos mais gerais? Pode variar a formulação para evitar repetição frequente, mas lacunas lexicais ainda causam hesitação e discurso pouco direto acerca do ponto principal pelo abuso de expressões, estendendo demasiadamente algo que pode ser dito em poucas palavras.

enfocam a tomada de turno, cooperação, pedidos de esclarecimento, planejamento e autocorreção.

Ainda na escala ilustrativa do COE sobre competência linguístico-comunicativa, há o item Controle de Vocabulário que, para o nível B2, estabelece que haja uma acuidade lexical alta, e mesmo que ocorra escolha de palavras incorretas, não há problemas com a comunicação. O quadro 3 apresenta a descrição desse item:

Quadro 3: Descritor de controle de vocabulário do CEFR – Nível B2 (FCE)36

VOCABULARY CONTROL

B2 Lexical accuracy is generally high, though some confusion and incorrect word choice does occur without hindering communication.

O que se percebe é que há a tentativa, por meio do referido projeto de ESOL, em se padronizar a avaliação de PO por meio das escalas do CEFR. A tentativa é válida, mesmo que o projeto aponte algumas dificuldades enfrentadas pelos examinadores acerca do uso das escalas.

As considerações desenvolvidas nesta seção fizeram-se necessárias para que o processo de geração e análise de dados desta tese contasse com a contribuição teórica e metodológica de pesquisas de relevância internacional na área de avaliação de PO.

Vale ressaltar que a implementação de um instrumento de avaliação é um processo complicado e exige experimentações e pesquisas cuidadosas. Os aspectos envolvidos em escalas utilizadas em testes orais, como os que compõem o CEFR, são importantes para se pensar a avaliação de proficiência oral.

36 _{Tradução: Acuidade lexical geralmente alta, apesar de que alguma confusão e escolha incorreta de palavras} ocorrem sem prejudicar a comunicação.

Para completar a revisão teórica, as próximas seções abordam os aspectos que envolvem o vocabulário e o processo de ensino e aprendizagem, a produção oral de vocabulário e a avaliação deste componente.