I. KLASİK FİZİK’İN OLUŞUMU
I.III. Johannes Kepler
Neste capítulo são mostrados os resultados obtidos da aplicação do questionário. Do total de pessoas que receberam o questionário, 54 destes o responderam, no entanto, 36 destes participantes foram selecionados para terem suas respostas consideradas nos resultados do Survey, pois estes são os que já fizeram uma RS, permitindo que a ferramenta seja devidamente avaliada por quem já tem conhecimento desta. A quantidade de 36 participantes efetivos nos resultados foi considerado razoável em relação à quantidade de pessoas que receberam o questionário, porém, devido a experiência acadêmica/profissional destes com RS, o resultado foi considerado satisfatório.
63
Na tentativa de entender o motivo pelo qual muitos dos estudantes e/ou profissionais que não responderam ao questionário ou mesmo nem acessaram o vídeo demonstrativo, percebeu-se que os motivos aparentes foram:
Falta de tempo; Não recebeu o e-mail; Não viu/percebeu o e-mail;
Não se sentiu motivado pela descrição do e-mail;
Não tinha conhecimento sobre RS o que não o motivou a visualizar o vídeo demonstrativo;
Além disso, houve ocorrências das quais os estudantes visualizaram o vídeo demonstrativo, mas não acessaram o questionário, o que mostra que estes não se interessaram pela proposta da ferramenta ou não tinham interesse em assisti-lo no momento, dessa forma, foi constatado que outros métodos de aplicação da pesquisa poderiam ter sido feitas para a motivação dos estudantes ou mesmo para que estes se interessassem a conhecer a proposta da ferramenta. Contudo, não foi encontrado nenhum motivo relevante para se cancelar a pesquisa, uma vez que seus resultados foram obtidos corretamente e de forma consistente. Dessa forma, a pesquisa foi considerada consistente, contendo informações relevantes para concluir se a proposta da ferramenta foi avaliada de forma positiva ou não.
Os resultados mostrados na Figura 18 indicaram em qual Universidade os participantes estão estudando ou que já terminaram seu curso. A Figura 19 indica que, dos 36 participantes, 17 destes são estudantes de Mestrado, 16 de Doutorado e 3 profissionais da área, o que indica que estudantes de Mestrado tiveram um maior interesse sobre a proposta da ferramenta. A Figura 20 mostra a efetividade do vídeo demonstrativo e seu entendimento em mostrar a proposta da ferramenta, pois este alcançou 91,67% dos participantes que entenderam a mensagem contida no vídeo. Os resultados também mostraram que a quantidade de estudantes que não conheciam ou que não utilizaram RS foi menor do que os que já haviam utilizado, indicando que os participantes de maior interesse sobre a proposta foram aqueles que já a conheciam, pois dos 54, 18 não tinham conhecimento algum sobre RS e 36 destes o tinham, sendo 66,67% dos participantes os que já haviam utilizado RS e 33,33% os que ainda não conheciam ou não a utilizaram até a aplicação deste questionário. A Figura 21 mostra em detalhes o resultado desta análise.
64
Questão 1. Qual a sua instituição de ensino ou local de trabalho?
Questão 1 Quantidade % UFRN 12 33,33% UFPE 12 33,33% USP 3 8,33% UFPR 1 2,78% UFABC 1 2,78% UFBA 2 5,56% UNEMAT 1 2,78% UFC 2 5,56% UNIFESP 1 2,78% UFLA 1 2,78%
Figura 18: Respostas referentes à questão 1.
Questão 2. Qual a pós-graduação que você está fazendo?
Questão 2 Quantidade %
Mestrado 17 47,22%
Doutorado 16 44,44%
Profissional da área 3 8,33%
65
Questão 3. Você entendeu a proposta da ferramenta SAEE?
Questão 3 Quantidade %
Sim 33 91,67%
Não 2 5,56%
Não tenho opinião 1 2,78%
Figura 20: Respostas referentes à questão 3.
Questão 4. Você já gerou uma Revisão Sistemática?
A questão 4 deve ser considerada de forma diferente das outras, pois seus resultados consideram o total dos participantes deste Survey, 54. As outras questões são baseadas apenas nos participantes que responderam como “Sim” a esta questão, ou seja, o total de participantes das outras questões é de 36.
Questão 4 Quantidade %
Sim 36 66,67%
Não 18 33,33%
Nunca fiz uma 0 0,00%
66
As respostas referentes à questão 5 mostraram que 50% dos participantes tiveram algum problema em se reunirem com seus grupos para fazer a RS, ou seja, a proposta principal da ferramenta já seria atrativa para metade dos participantes, o que confirma a necessidade de ferramentas de apoio à interatividade entre usuários. Uma melhor visualização pode ser observada na Figura 22. Os resultados obtidos das questões 6, 7, 8 e 11 indicam respectivamente que: 83,33% (soma dos resultados “Bom” e “Ótimo”) dos participantes demonstram interesse em ferramentas de interação online para RS, o que mostra a necessidade de ferramentas de apoio e reafirma a proposta da ferramenta SAEE; 86,11% dos participantes demonstraram que teriam maior facilidade na geração de RS com o uso de ferramentas interativas; 91,66% (soma dos resultados “Bom” e “Ótimo”) dos participantes mostraram interesse e necessidade de ferramentas de colaboração online para RS; e 91,66% (soma dos resultados “Bom” e “Ótimo”) dos participantes afirmaram que a possibilidade de compartilhar, discutir e opinar informações inseridas por seus grupos na geração de RS sem a necessidade de se reunirem fisicamente seria bastante positiva. Para uma visão mais detalhada destes resultados, visualizar as Figuras 23, 24, 25 e 28 respectivamente.
Questão 5. Se você já gerou uma Revisão Sistemática em grupo, seu grupo teve dificuldades de se reunir para fazê-la, ou para trocar informações sobre esta?
Questão 5 Quantidade %
Sim 18 50,00%
Não 14 38,89%
Não tenho opinião 4 11,11%
67
Questão 6. Como você avalia a proposta da ferramenta de apoiar a interatividade on- line de usuários que podem estar geograficamente distantes na geração de Revisões Sistemáticas? Questão 6 Quantidade % Ótimo 9 25,00% Bom 21 58,33% Indiferente 6 16,67% Ruim 0 0,00% Péssimo 0 0,00%
Figura 23: Respostas referentes à questão 6.
Questão 7. Em sua opinião, uma ferramenta interativa on-line para múltiplos usuários facilitaria a geração de Revisões Sistemáticas em grupo?
Questão 7 Quantidade %
Sim 31 86,11%
Não 3 8,33%
Não tenho opinião 2 5,56%
68
Questão 8. Como você avalia a possibilidade de colaboração on-line entre múltiplos usuários para geração de uma Revisão Sistemática?
Questão 8 Quantidade % Ótimo 12 33,33% Bom 21 58,33% Indiferente 3 8,33% Ruim 0 0,00% Péssimo 0 0,00%
Figura 25: Respostas referentes à questão 8.
As questões 9 e 10 fazem referência a adição de avaliadores para auxiliar os usuários na geração de RS, os resultados obtidos indicam respectivamente que: 97,22% (soma dos resultados “Bom” e “Ótimo”) dos participantes concordam que as opiniões de um avaliador seriam muito importante no andamento da RS; e 94,44% (soma dos resultados “Bom” e “Ótimo”) dos participantes acreditam que a interação com um avaliador ou avaliadores externos durante a geração da RS poderia ser bastante positiva. Para obter mais detalhes sobre estas questões, visualizar as Figuras 26 e 27 respectivamente. É importante mencionar que a adição de avaliadores obteve resultados positivos acima de 94%, indicando que usuários realmente necessitam de uma interação maior de um profissional da área ou pesquisador mais experiente para melhorar a qualidade tanto do documento gerado quanto de indicações de artigos e documentos a serem estudados.
69
Questão 9. Como você avalia a possibilidade de adicionar um avaliador externo à sua Revisão Sistemática? Questão 9 Quantidade % Ótimo 20 55,56% Bom 15 41,67% Indiferente 1 2,78% Ruim 0 0,00% Péssimo 0 0,00%
Figura 26: Respostas referentes à questão 9.
Questão 10. Como você avalia a possibilidade de interação on-line entre seu grupo de pesquisa e um avaliador externo para auxiliar na geração do conteúdo de uma Revisão Sistemática? Questão 10 Quantidade % Ótimo 15 41,67% Bom 19 52,78% Indiferente 2 5,56% Ruim 0 0,00% Péssimo 0 0,00% Figura 27: Respostas referentes à questão 10.
70
Questão 11. Como você avalia a possibilidade de compartilhar, discutir e opinar as informações inseridas por seu grupo na geração de uma Revisão Sistemática sem a necessidade de se reunirem fisicamente?
Questão 11 Quantidade % Ótimo 12 33,33% Bom 21 58,33% Indiferente 1 2,78% Ruim 1 2,78% Péssimo 1 2,78%
Figura 28: Respostas referentes à questão 11.
As questões 12, 13 e 15 referenciam a proposta central deste trabalho, a interatividade. Dessa forma, estes resultados são de grande importância para uma avaliação positiva ou negativa da proposta deste trabalho. Os resultados obtidos destas questões foram respectivamente: 75% (soma dos resultados “Bom” e “Ótimo”) dos participantes afirmaram que a interatividade através de comentários seria bem vinda para geração de RS; 75% dos participantes acreditam que a interação entre usuários e/ou avaliadores iria realmente melhorar a qualidade da RS gerada; e 94,44% (soma dos resultados “Bom” e “Ótimo”) dos participantes afirmaram que ver o conteúdo do histórico de discussões da geração dos campos da RS é bastante positivo. Os detalhes destes resultados podem ser vistos nas Figuras 29, 30 e 32 respectivamente. Estes resultados afirmam que a interatividade entre usuários e/ou avaliadores durante a geração de uma RS em uma ferramenta seria muito positiva, pois permite que estes concentrem seus comentários em um único lugar e especificamente sobre um campo, o que torna fácil o entendimento de como eles chegaram ao resultado final de cada campo da RS gerado.
71
Questão 12. Como você avalia a possibilidade de interatividade entre usuários através de comentários, os quais simulam um fórum de discussão?
Questão 12 Quantidade % Ótimo 7 19,44% Bom 20 55,56% Indiferente 7 19,44% Ruim 2 5,56% Péssimo 0 0,00%
Figura 29: Respostas referentes à questão 12.
Questão 13. Você acredita que a interatividade através de comentários entre usuários e/ou avaliadores melhoraria a qualidade da Revisão Sistemática?
Questão 13 Quantidade %
Sim 27 75,00%
Não 5 13,89%
Não tenho opinião 4 11,11%
Figura 30: Respostas referentes à questão 13.
Os resultados da questão 14 indicam que 72,22% (soma dos resultados “Bom” e “Ótimo”) acreditam que divulgar seus trabalhos seria uma funcionalidade positiva.
72
Questão 14. A ferramenta ainda dá a possibilidade de tornarem públicas as Revisões Sistemáticas geradas a fim divulgar seu trabalho. Como você avalia essa possibilidade?
Questão 14 Quantidade % Ótimo 12 33,33% Bom 14 38,89% Indiferente 7 19,44% Ruim 3 8,33% Péssimo 0 0,00%
Figura 31: Respostas referentes à questão 14.
Questão 15. Como você avalia a possibilidade de ver todo o histórico e discussões sobre cada campo da revisão?
Questão 15 Quantidade % Ótimo 17 47,22% Bom 17 47,22% Indiferente 2 5,56% Ruim 0 0,00% Péssimo 0 0,00%
73
Outras formas de visualizar os resultados das questões foram feitas seguindo as orientações de [KITCHENHAM et al., 2002d] e [KITCHENHAM et al., 2003], em que os resultados foram obtidos e agrupados em categorias de questões, das quais foram descritas no Capítulo 5.4 e podem ser visualizadas abaixo:
Categoria 1 (Questões 6, 7, 8 e 11): Avaliação da proposta da ferramenta; Categoria 2 (Questões 9 e 10): Avaliação da funcionalidade de adição de
avaliadores;
Categoria 3 (Questões 12, 13 e 15): Avaliação da forma como a ferramenta aplica a interatividade.
Dessa forma, observando-se as Figuras 33, 34 e 35 pode-se afirmar que a avaliação das categorias de questões foram efetivadas com um resultado bastante satisfatório. Nos casos em que as respostas divergem de tipo, é considerado satisfatório os resultados “Bom” e “Ótimo”, e insatisfatório os resultados “Indiferente”, “Ruim” e “Péssimo”, e satisfatórios os resultados “Sim” e insatisfatórios os resultados “Não” e “Não tenho opinião”.
Categoria 1: Avaliação da proposta da ferramenta.
Categoria 1 Quantidade % Satisfatório 127 88,19% Insatisfatório 17 11,81%
74
Categoria 2: Avaliação da funcionalidade de adição de avaliadores.
Categoria 2 Quantidade %
Satisfatório 69 95,83%
Insatisfatório 3 4,17%
Figura 34: Respostas referentes à Categoria 2.
Categoria 3: Avaliação da forma como a ferramenta aplica a interatividade.
Categoria 3 Quantidade % Satisfatório 88 81,48% Insatisfatório 20 18,52%
Figura 35: Respostas referentes à Categoria 3.
O cálculo feito para se chegar ao resultado obtido em relação às Categorias 1, 2 e 3, foi a soma absoluta dos valores de cada questão envolvida, ou seja, no caso da Categoria 1, seria:
Figura 36: Fórmula de cálculo do resultado da Categoria 1 de questões. RF = RA‐Q6 + RA‐Q7 + RA‐Q8 + RA‐Q11
RF = resultado final
75
Assim, a Categoria 1 alcançou a margem de 88,19% de satisfação, ou seja, a proposta da ferramenta foi recebida com aprovação obtendo um ótimo resultado. A Categoria 2 alcançou 95,83% de satisfação em relação a funcionalidade de poder adicionar um avaliador na RS do usuário para que este possa orientar na melhoria do conteúdo e sua qualidade. A Categoria 3 também teve um resultado bastante satisfatório, apesar de ser a de menor valor em porcentagens, alcançando 81,48% de resultados positivos.
Para a análise da última questão, a qual é uma questão aberta, em que os participantes puderam adicionar qualquer tipo de pensamento que julgaram relevantes sobre a proposta da ferramenta, dos quais a maioria se interessou pela proposta e realmente sentiram muita curiosidade para utilizá-la. Muitos elogiaram a iniciativa e os recursos mais precisamente de versionamento dos campos enviados e do armazenamento de histórico de discussões. Contudo também houve críticas em relação ao funcionamento não ser tão desejado e inovador, demonstrando outras necessidades, porém, admitiram que a proposta da ferramenta e seus recursos adicionais iriam ajudar bastante na realização de RS. A visualização completa das respostas dissertativas dos participantes podem ser vistas na Tabela 7.
Q16. Dê sua opinião sobre a proposta da ferramenta SAEE, suas sugestões e críticas. Fique a vontade para responder. (Respostas com apenas um ponto (.) ou traço (-) foram
desconsideradas).
R: A ferramenta tem uma proposta interessante, vou querer conhecê-la quando estiver pronta. R: Eu não gostei do método de comentários. Acho que deve ter uma forma melhor de ter esta
avaliação. O mais interessante para a ferramenta é ela guiar todo o processo, principalmente a parte de filtros quantitativos e qualitativos.
R: É um sistema de boa utilização, principalmente quando os grupos são obrigatoriamente
distantes geograficamente. Agora, precisa realmente tem o diferencial de outras ferramentas de compartilhamento de documentos, como o Google Docs. Sendo assim, é um trabalho relevante!!! Parabéns!!!
R: Em uma análise prévia da ferramenta, com base no curto vídeo fornecido, existem
ferramentas de colaboração (ex. google docs, dropxbox, documentos com track changes) que possibilita essa interatividade e cooperação entre os integrantes do grupo.
R: Disponibilizar protótipo
R: Bem, creio que quando iniciar a utilização da ferramenta, ficaria mais fácil dar criticas e
sugestões, porem o uso continuo dela é que faz amadurecer o processo.
R: Achei muito interessante essa proposta, pois realmente é difícil de reunir o pessoal, e ideia
de poder ver o histórico das informações que fazemos também foi bem elaborada.
R: Boa ferramenta, realmente precisamos de ferramentas assim. R: Boa proposta, seria bem vinda.
R: Ajuda, mas não elimina um dos maiores problemas, que é o gerenciamento da quantidade
76
R: Ajuda, mas não elimina um dos maiores problemas, que é o gerenciamento da quantidade
de informações em planilhas, e das concordâncias/discordâncias.
R: Interessante, gostei da proposta, mas queria poder utilizar a ferramenta para opinar mais. R: Legal essa ferramenta, mas ver seu funcionamento seria melhor.
R: Boa iniciativa.
R: A interatividade só será útil se a ferramenta oferecer funcionalidades e usabilidade boa o suficiente para atrair os usuários. Sem funcionalidades, não existirão usuários para interagir.
R: Eu acho que a ideia da ferramenta pode ser interessante, no entanto tenho alguns comentários a fazer. Eu achei confuso um documento de revisão sistemática ser mantido através de abas para as diferentes seções (título, questões de pesquisa, etc), ou seja, não ser completamente corrido, como ele ficaria no protocolo de revisão sistemática. Além disso, também achei confusa a manutenção de versões em um fórum retrátil. Acho que o usuário vai ter mais trabalho em saber qual a versão que ele deve responder. Além disso, eu não consegui perceber nenhuma opção de controle de alterações para o texto... Se tudo for feito via criação de uma nova versão como foi no caso do vídeo apresentado, acho que pode ficar muito mais trabalhoso manter o documento dessa revisão sistemática.
R: Excelente a proposta da ferramenta! Fiquei curiosa para saber sobre o controle das bases de dados, extração dos documentos e controle da análise. Como a ferramenta auxilia nestes termos? Há a possibilidade de integrar com o Mendeley (por exemplo) ou outras ferramentas que auxiliam na condução e análise da Revisão? No mais, quero desejar parabéns pelo trabalho!
R: Uma ferramenta de Revisão Sistemática ideal necessitaria a geração de gráficos e tabelas para compor as extrações realizadas. O foto da ferramenta SAEE parece estar limitado a "facilidade" de comunicação entre os integrantes de um grupo que estão realizando uma Revisão Sistemática. É uma ideia, mas não sei se tão interessante quanto propõe tendo em vista os diversos meios de comunicação que existem hoje. Também é difícil analisar esse ponto relativo a comunicação uma vez que não tive dificuldades, nem estava tão distante geograficamente dos membros das revisões sistemáticas que fiz. R: Acrescenta a opção para conferencias de vídeos pois tornaria as discussões melhores.
R: Ótima proposta. As questões de usabilidade da ferramenta devem ser bem pensadas para que ela efetivamente facilite o trabalho, e não gere mais necessidade de "preenchimento de campos". A integração com o e-mail dos participantes também parece ser uma funcionalidade fundamental.
R: Nada a declarar.
R: Bom, já tinha pensado em algo semelhante, no meu caso seria disponibilizar o arquivo (por exemplo em latex on line) e cada um ia melhorando (não sei se sua ferramenta faz isso) e deixando os comentários.
R: O maior problema de uma revisão sistemática distribuída não esta na dificuldade de comunicação, mas sim nas etapas que exigem a avaliação de trabalhos por mais de um usuário, ou sejam uma forma de adicionar um possível artigo a revisão e que de forma fácil os participantes possam avalia-los e ver a avaliação dos outros, e dai sair o resultado sobre aquele trabalho. Acho que o ponto principal deveria ser este, onde esta a maior dificuldade em uma revisão, pois são muitos artigos, o que torna o e-mail e chats inviáveis.
R: As reuniões presenciais são fundamentais para o desenvolvimento de uma SLR.
R: A ferramenta tem um propósito muito interessante. A inserção de comentários para colaboração em um RS é de suma importância, principalmente, na fase de análise de resultados. Nas RS que participei mantivemos o "controle" por meio de um "coordenador" e ele coletava e sumarizava os resultados. Os conflitos eram gerenciados por este coordenador que, em muitos casos, coletava a opinião de cada um dos revisores e tomava a decisão. Também, acho interessante a criação de chats on-line (tipo, gtalk) e, em um patamar mais elevado, a inserção de PDFs com possibilidade de anotações e resumos, meio que buscando criar um repositório dos papers selecionados. Além disso, a inclusão do protocolo e a criação de uma ferramenta para guiar durante as etapas da revisão, tipo um workflow. Em suma, é isso. De forma geral, achei muito interessante a ferramenta, mas senti que ela ainda carece de mais recursos e funcionalidades.
77
R: Ótima ideia. Mas achei que ficou faltando relacionar com uma base de dados bib ou coisa do tipo. R: Precisaria ver as outras funcionalidades para poder opinar melhor.
R: Algumas sugestões:
a) Video ficou ruim de ler o que estava na tela. Sugiro dar mais zooms durante a gravação. b) Que tal mandar um e-mail para os avaliadores quando um novo comentário/revisão for inserido no sistema.
c) Para ampliar as possibilidades de uso da SAEE, sugiro dar uma olhada na ferramenta START e tentar implementar funções de busca de artigos, cadastro, extração de dados direto das fontes de busca, geração de relatórios, além de exportar e importar dados.
d) É possível um áudio com todos os avaliadores da revisão? Isso seria bem interessante. Sei que existem ferramentas hoje (como o skype) que possibilitam isso, mas você poderia customizar a SAEE para que as discussões fossem focadas no artigo analisado. Por hora é só, espero ter a oportunidade de conhecer depois essa ferramenta e quem sabe dar mais sugestões.
R: Parabéns pela iniciativa. Ela está disponível? Seria interessante um exemplo mais completo, com resultados maiores para poder ser melhor visualizada.É possível "clonar" uma revisão já feita ou em andamento? Ela gera gráficos?
R: Acho que mapas mentais também são interessantes. R: Mostrar mais funcionalidades no vídeo.
R: Aparentemente eu gostei, gostaria de testar para dar uma resposta mais concreta
R: A proposta é boa. Sugiro que disponibilizem uma versão de testes para que as pessoas possa avaliar melhor o sistema e assim poderem colaborar com sugestões mais construtivas.
Tabela 7: Respostas dissertativas dos participantes.
5.8. Conclusões
A aplicação do Survey foi considerada satisfatória, apesar da quantidade de participantes não ser grande, porém, obteve um resultado consideravelmente consistente no que se refere à proposta da ferramenta SAEE.
A proposta foi avaliada obtendo um resultado satisfatório, e com isso, foi constatado que a comunidade acadêmica receberia uma ferramenta de apoio à realização de revisões sistemáticas com muito agrado, pois muitos dos participantes tiveram curiosidade de conhecer a ferramenta mais a fundo, para poder observar melhor suas funcionalidades e assim poder contribuir com uma maior e mais consistente crítica, seja esta positiva ou negativa.
Foi constatado também que muitos dos estudantes que receberam o e-mail com o endereço lógico do vídeo demonstrativo e do questionário, não tiveram o interesse ou curiosidade de verificar a ferramenta ou mesmo responder ao questionário, indicando que, para uma pesquisa mais elaborada, é necessário se fazer uma forma mais intrusiva de demonstração da proposta da ferramenta, como a visita em sala de aula ou mesmo abordar os estudantes no campus universitário para que estes não tenham como ignorar ou, ao menos, minimizar a ausência de participantes.
78