Kamu Harcamalarını Azaltma Hedefi

Conforme mencionado anteriormente, o método para avaliar a consistência da tarefa foi a estatística Kappa. Os resultados obtidos e algumas observações serão mostrados nas tabelas que se seguem.

Computação Lingüística Engenharia de Produção

Estruturas Esquemáticas K=0.899 K=0.829 K=0.799

Número de Sentenças 96 87 135

Tabela 5.5: Identificação dos componentes da estrutura esquemática

Conforme pode ser observado na Tabela 5.5, o valor de concordância entre as duplas pode ser interpretado como excelente, segundo a escala de Orwing (1994). O que implica dizer que as diretrizes contidas no manual referente à anotação dos componentes da estrutura esquemática contêm uma boa explicação tanto da tarefa a ser realizada quanto do modelo de componentes da estrutura esquemática adotado, inspirado no trabalho de Swales (1990). O maior valor de k obtido foi da dupla de cientistas da computação, conforme destacado. Esse valor indica o quanto eles concordaram entre si na classificação de cada sentença dos resumos.

Computação Lingüística Engenharia de Produção Estratégias Retóricas K=0.769 K=0.798 K=0.722

Número de Sentenças 96 87 135

Tabela 5.6: Identificação das estratégias retóricas

Já na tarefa de identificação das estratégias retóricas (Tabela 5.6), que conforme já mencionado pode ser considerada a tarefa mais difícil do processo proposto por essa dissertação por possuir o maior conjunto de categorias (22), o resultado obtido é excelente para as duplas de cientistas da computação e de lingüistas e boa para a dupla de engenheiros. Isso porque, para Orwing (1994), o valor excelente é atribuído para valores de k maiores que 0.75. Esses ótimos valores de k obtidos também podem ser justificados pelo conteúdo do manual. Acreditamos também que se as duplas tivessem tido um tempo para se “acostumarem” com os manuais e também para praticarem com outros resumos antes de realizar a anotação desses 15 resumos recebidos, esse valor de k

poderia ter sido mais alto. O valor destacado na tabela é o mais alto valor obtido nessa tarefa entre as três duplas avaliadas.

Computação Lingüística Engenharia de Produção

Dimensão 1 K=0.856 K=1.000 K=1.000

Número de Sentenças 96 87 135

Tabela 5.7: Avaliação da qualidade dos resumos segundo o critério de caracterização, organização e desenvolvimento de um resumo, Rubrica 1.

Nessa tarefa tivemos a boa surpresa de duas duplas, a de lingüistas e de engenheiros conforme destaque da Tabela 5.7. Eles atingiram o grau máximo de concordância entre si na realização da tarefa. Não menos importante é o resultado de avaliação da dupla de cientistas da computação, que também tiveram um excelente resultado na avaliação.

Computação Lingüística Engenharia de Produção

Dimensão 2 K=0.813 K=0.722 K=0.779

Número de Sentenças 96 87 135

Tabela 5.8: Avaliação da qualidade dos resumos segundo o critério de balanceamento entre os componentes de um resumo, Rubrica 2.

Nessa tarefa, os maiores destaques foram as duplas de engenheiros e cientistas da computação que obtiveram um valor excelente na realização de suas tarefas. A dupla de lingüistas obteve um valor considerado bom. O quadro em destaque da Tabela 5.8 é o da dupla que obteve o maior grau de concordância entre si nessa tarefa.

Computação Lingüística Engenharia de Produção

Dimensão 3 K=1.000 K=0.732 K=0.785

Número de Sentenças 96 87 135

Tabela 5.9: Avaliação da qualidade dos resumos segundo o critério de coerência entre os componentes de um resumo, Rubrica 3.

Nessa última tarefa também houve uma surpresa agradável com a presença do valor k=1, que significa haver uma total concordância entre os cientistas da computação

quanto à avaliação da coerência entre os componentes dos resumos por eles analisados (Tabela 5.9).

Em suma, essas boas avaliações obtidas nas tarefas há pouco avaliadas, mostram que um dos objetivos do processo aqui apresentado – que pessoas da comunidade acadêmica consigam construir os recursos lingüísticos necessários na geração de suas próprias ferramentas de auxílio à escrita científica – foi atingido em três áreas do conhecimento: Ciências da Computação, Lingüística e Engenharia de Produção. Isso, porque a descrição das tarefas realizadas, bem como dos conceitos e termos lingüísticos apresentados estão descritos em uma linguagem de fácil acesso para essa comunidade. Portanto, de fácil entendimento pelas pessoas representantes das três comunidades acadêmicas citadas, conforme mostraram os excelentes valores obtidos nas avaliações das tarefas realizadas. Como trabalho futuro, indicamos a avaliação com pessoas de outras áreas do conhecimento para ver o seu desempenho quanto à realização das tarefas avaliadas.

Em relação à segunda motivação dessa fase de avaliação, elaborar uma estimativa do tempo a ser gasto na construção de recursos lingüísticos, a Tabela 5.10 mostra quanto tempo cada um de nossos colaboradores gastou na realização das tarefas atribuídas a eles nessa segunda fase:

Perfil da pessoa Nível de Inglês Tempo gasto nas tarefas 1. Formada Inglês Intermediário _06h00min

2. Recém-doutora Inglês Avançado _08h00min

3. Segundo ano mestrado Inglês Intermediário _05h30min

4. Terceiro ano doutorado Inglês Intermediário _04h15min

5. Primeiro ano mestrado Inglês Intermediário _06h30min

6. Pesquisador sênior Inglês Avançado _{01h45min a 02h00min} Tabela 5.10: Apresentação do tempo gasto pelos colaboradores na execução das tarefas da fase 2 de avaliação e o nível de conhecimento científico de cada uma delas.

Em destaque, estão o maior e o menor tempo gasto na execução das tarefas: 02h00min e 08h00min. Vale também dizer que esse tempo foi estipulado pelos próprios colaboradores. Foram eles quem nos deram essa informação, não os acompanhamos de perto na execução das tarefas a ponto de ser possível cronometrar o tempo que eles

gastaram. Com relação ao colaborador 6, a princípio pode-se dizer que esse pouco tempo gasto na execução das tarefas pode ser explicado, por exemplo, pelo alto nível de conhecimento que possui, tanto de língua estrangeira quanto científico, uma vez que se trata de um professor que além de ter publicado diferentes artigos científicos em revistas internacionais, também trabalha com disciplinas sobre escrita científica em língua inglesa na pós-graduação. Assim, por possuir um inglês fluente aliado a um bom entendimento das características do discurso científico, fez com que as tarefas fossem por ele realizadas em um tempo baixíssimo se comparado com o tempo gasto em média pelas outras pessoas. Poderíamos deduzir, então, que quanto mais consciência das idiossincrasias da escrita científica de uma comunidade acadêmica e de inglês uma pessoa tiver, menor poderá ser o tempo gasto na execução das tarefas, isto é, na produção de recursos lingüísticos.

Ao fazermos uma média do tempo gasto por essas pessoas na anotação dos componentes esquemáticos, das estratégias retóricas e da avaliação da qualidade de 15 resumos de suas respectivas áreas (Lingüística, Engenharia de Produção e Computação) obtivemos 05h29min, isto é, para a confecção de recursos lingüísticos da seção “Resumo”, o usuário de nosso processo levou, em média, 05h29min.

No entanto, não podemos considerar esse tempo médio estimado para a construção de todas as outras seções de uma futura ferramenta de auxílio à escrita, isto é, uma base de casos com 15 exemplos de Introdução, mais 15 de Metodologia, e assim por diante, perfazendo um total de 90 seções para serem analisadas.

Isso devido ao fato de ser preciso fazer mais avaliações de tempo gasto para a anotação dos recursos lingüísticos requeridos, e de também:

- Levar em consideração, que a complexidade de análise das seções de artigo científicos é diferente: resumos são mais fáceis de anotar que metodologias, pois são mais estruturados, isto é, as estratégias e componentes esquemáticos aparecem bem mais definidos que em outras seções.

- O tempo gasto com a análise pode variar muito de pessoa para pessoa, dependendo do nível de inglês e da consciência da estrutura de um texto científico, que a pessoa anotadora dos textos possui.

- O tempo gasto para a anotação dos recursos lingüísticos pode variar: o número de sentenças, além da complexidade entre as seções podem influenciar no tempo gasto. Em 22 seções “Conclusões” do SciPo-Farmácia, por exemplo, foram encontradas 173