Eğitim ve Sağlık Hizmetlerine Erişim Hedefi

Retomando a motivação principal dessa fase que é avaliar a Clareza e a Completude dos manuais de construção de recursos lingüísticos contidos nas etapas escolhidas, E1’, E2’, E3 e E5, e observando os resultados das tarefas realizadas pelos

três colaboradores dessa fase de avaliação, podemos dizer que a mesma foi atingida com sucesso. Esse sucesso pode ser explicado pela boa qualidade do material por eles produzido. Essa qualidade nos possibilita dizer que os conceitos apresentados nos manuais foram lidos e compreendidos a ponto de poderem ser identificados nos cinco resumos por eles analisados, conforme as especificações pedidas pelos manuais em avaliação. Isso tudo, de maneira semelhante, ou seja, as três pessoas realizaram as especificações dos manuais, exatamente como descrito e da mesma maneira.

Para avaliar essa possibilidade de replicação das tarefas contidas nos manuais, foi utilizada a estatística Kappa.

Kappa é um método estatístico, que foi utilizado na análise de discurso e de diálogo pela primeira vez em 19951, por Isard e Carletta, para avaliar a replicabilidade de um esquema de anotação. Segundo a literatura, a estatística Kappa tem sido muito utilizada por diferentes pesquisadores como teste para tarefas de classificação nas quais alguns ou vários anotadores (ou juízes) têm como função atribuir classes a um grupo de itens.

Esses tipos de estatísticas, que visam medir o grau de concordância ou discordância entre os anotadores, como é o caso da estatística Kappa, possibilitam: 1) descobrir problemas de etiquetação surgidos durante o processo de classificação de sentenças, bem como 2) servir de teste de qualidade e abrangência do conjunto de etiquetas adotado, 3) do manual de anotação consultado e 4) do córpus em treinamento.

Os itens considerados no cálculo do Kappa são: o número de pessoas (juízes) que marcaram o córpus; o número de itens sendo classificados e o número de classes utilizadas, os quais aparecerem representados pela fórmula K= P (A) – P (E)/ 1- P (E). Onde:

P(A) é a proporção de vezes que os anotadores concordaram.

P(E) é a proporção de vezes que os juízes concordam aleatoriamente.

Depois de aplicado esse método estatístico, o valor de K é obtido, e poderá apresentar:

Concordância completa, quando o K=1; Concordância aleatória, quando k=0 e Máxima discordância, quando o k= -1.

1

AAAI 1995 Spring Symposium on Empirical Methods in Discourse Interpretation and Generation, March 27-29 1995, Stanford University, Palo Alto, CA, USA.

Essa estatística pode ser calculada de maneira automática. Para o cálculo com 2 juízes (ou anotadores) há vários programas Web disponíveis2. Utilizamos um pacote escrito em Perl3 chamado Kappa4 para vários juízes. Esse pacote contém 3 arquivos: o kappa2.pm, o kappaDiagnosis.pl e um exemplo de como a tabela com as anotações dos textos deve ser submetida a esse programa, em formato .txt, da maneira como é mostrada abaixo.

J1 J2 J3 J4

1 MAT MAT MAT MAT

2 MAT MAT MAT MAT

3 MAT MAT MAT MAT

4 MAT MAT MAT MAT

5 MAT MAT PRO MAT

Os números 1,2,3,... correspondem ao número de sentenças analisadas.

J1, J2, J3 e J4 indicam o número e quais os juízes ou anotadores que classificaram, no caso, os textos.

MAT MAT MAT MAT correspondem às etiquetas utilizadas pelos juízes no momento de classificação das sentenças.

Depois de baixados os dois pacotes, de se ter instalado o pacote Perl (cuja instalação é automática) e de se ter colocado os dados da anotação no formato a pouco apresentado e de os ter salvado em arquivo .txt, realiza-se a nomeação desse arquivo, que poderia ser, por exemplo, “arquivo_com_dados.txt”. Em seguida, é necessária apenas a execução da seguinte linha de comando no prompt do DOS:

C:\kappa> perl kappaDiagnosis.pl arquivo_com_dados.txt > saída.txt.

Como resultado desse comando é obtido um arquivo no diretório Kappa, intitulado saída, com formato .txt (isto é, texto sem formatação) com todas as informações da análise realizada. O valor de k desse texto vai indicar a taxa de concordância existente entre os anotadores; P(A) a proporção de vezes que os anotadores concordaram entre si; P(E) a proporção de vezes que é esperado os juízes concordarem aleatoriamente; N número total de sentenças analisadas e entre parênteses,

2

Veja um em: http://faculty.vassar.edu/lowry/kappa.html 3

Para tal, é necessário instalar um pacote Perl no computador, onde se calculará o Kappa. Um endereço de site sugerido para se baixar tal pacote (diretório compactado), nomeado por Windows AS Package, é o http://www.activestate.com/store/download.aspx?prdGUID=81fbce82-6bd5-49bc-a915-08d58c2648ca. 4

as classes utilizadas na classificação. Além disso, é mostrada a quantidade de vezes que esses juízes concordaram comparando-se duas a duas as classes utilizadas.

Segundo Orwin (1994), valores para k obtidos em uma dada tarefa menores que 0.40 são ruins, valores entre 0.4-5.9 são regulares, os que ficam entre 0.6-0.74 são bons e aqueles maiores que 0.75 são excelentes.

Nessa primeira etapa de nosso estudo, o valor de k obtido para a tarefa de identificação dos componentes da estrutura esquemática (etapa E1’ do processo proposto) contidas nos 5 resumos analisados foi K=0.835. Quanto às estratégias retóricas (etapa E5), a tarefa mais difícil de ser realizada entre as pedidas, uma vez que possui o maior conjunto de categorias possíveis, 22, o valor de k obtido foi K=0.779. Valores estes que, se enquadrados dentro do espectro de avaliação delimitado por Orwin (1994), nos indicam um excelente resultado em relação ao grau de concordância entre os anotadores e a replicabilidade do manual utilizado. Em outras palavras, indica um excelente resultado quanto à adequação do manual em termos de clareza e completude para a realização da tarefa, aplicação do modelo teórico descrito no manual e entendimento por parte dos anotadores das categorias e das atividades a serem realizadas.

Quanto à avaliação da anotação dos marcadores discursivos (etapa E3), esta não foi realizada por nenhum método estatístico. Foi realizada apenas uma comparação visual de listas de marcadores discursivos, destacados em vermelho, nos resumos analisados por cada juiz. Ao comparar as três listas, vimos que os marcadores discursivos identificados são praticamente os mesmos. Não há marcador discursivo algum identificado de maneira inadequada. Há apenas alguns marcadores que não foram destacados nos cinco resumos analisados. A hipótese para tal é uma possível distração na tarefa de identificação desses elementos. Isso, porque a palavra, por exemplo, this, aparece identificada nos dois primeiros resumos.

Os marcadores “not only…but also” (Adição), “empirically, formally” (Modo), “mainly” (Intensidade) entre outros, foram sugeridos pelos anotadores para serem inseridos na lista de marcadores discursivos contida no manual de anotação. Mais um fator que indica que o conceito sobre marcadores discursivos apresentado no manual de anotação foi compreendido e, portanto, pôde ser replicado.

Em relação ao manual de rubrica (etapa E2’), percebemos que todos os textos ganharam valores “Alto” ou “Baixo”, conforme a ausência ou presença dos três critérios contidos nos manuais. Quanto ao primeiro critério desse manual, que se refere à

caracterização, organização de desenvolvimento do resumo, o valor de k obtido foi K=0.659, o que representa que houve apenas uma discordância na anotação das sentenças (Tabela 5.1). Quanto ao segundo critério que trata do balanceamento entre os componentes de um resumo o valor de k obtido foi k=1, ou seja, os anotadores concordaram em todos os momentos quanto à classificação das sentenças analisadas sob esse segundo critério (Tabela 5.2). Em relação ao terceiro e último critério, referente à avaliação da coerência entre os componentes do resumo, o valor obtido foi k= 0.444, o qual demonstra que eles discordaram duas vezes ao longo das análises das sentenças (Tabela 5.3).

Pelo fato das rubricas terem sido aplicadas apenas a cinco resumos e, portanto, uma discordância entre os anotadores ser suficiente para fazer o valor de k cair consideravelmente. Assim, decidimos trazer, a seguir, três tabelas de comparação das anotações feitas com essas rubricas. Dessa maneira, o bom trabalho realizado pelos colaboradores pode ser observado com uma melhor perspectiva e o fato desse manual também ter atingido seu objetivo de estar claro e completo, ter sido também atingido.

A H L

1 Alto Alto Alto

2 Alto Alto Alto

3 Alto Alto Baixo

4 Alto Alto Alto

5 Baixo Baixo Baixo

Tabela 5.1: Tabela de comparação da classificação feita pelos três colaboradores em cinco resumos da área de Ciências da Computação. Esses resumos foram analisados sob o critério de caracterização, organização e desenvolvimento de um resumo. Observa-se que há apenas um único momento, apresentado na linha 3, em que uma das três pessoas discordou das outras duas quanto a classificação do resumo de número 3. Vale dizer, que a coluna com números de 1 a 5 referem-se aos resumos analisados, a linha com as letras A, H, L refere-se aos anotadores dos resumos e as colunas com valores “Alto” e “Baixo” são as classificações dadas por esses anotadores aos resumos. Nota-se também nessa tabela que os dois primeiros anotadores concordaram em todos os cinco momentos possíveis quanto à classificação dos resumos analisados, o que geraria um valor de k=1, o melhor valor que pode ser obtido em dada tarefa avaliada pela estatística Kappa.

A H L

1 Alto Alto Alto

2 Alto Alto Alto

3 Alto Alto Alto

4 Baixo Baixo Baixo 5 Baixo Baixo Baixo

Tabela 5.2: Tabela de comparação da classificação feita pelos três colaboradores em cinco resumos da área de Ciências da Computação. Esses resumos foram analisados sob o critério de avaliação do balanceamento entre os componentes de um resumo. Observa-se que as três pessoas concordaram em todos os momentos quanto a classificação dos resumos sob o critério proposto, o que gerou um valor de k=1. Vale dizer, que a coluna com números de 1 a 5 referem-se aos resumos analisados, a linha com as

letras A, H, L refere-se aos anotadores dos resumos e as colunas com valores “Alto” e “Baixo” são as classificações dadas por esses anotadores aos resumos.

A H L

1 Alto Alto Baixo

2 Alto Alto Alto

3 Baixo Baixo Baixo