I. KLASİK FİZİK’İN OLUŞUMU
I.IV. Galileo Galilei
Este trabalho teve o objetivo de demonstrar a interatividade entre usuários na geração de uma RS. Dessa forma, foi desenvolvido um sistema de apoio à interatividade em revisões sistemáticas em engenharia de software para suprir a necessidade constatada por estudantes de se reunirem para gerar uma RS, em que pudessem estar geograficamente distantes, mas que a distância não os prejudicasse. Assim, através de estudos realizados sobre as dificuldades mencionadas, o sistema desenvolvido foi feito seguindo as orientações de autores renomados na área de RS em ES, em que consta não apenas com as funcionalidades básicas para se construir uma RS de forma completa, mas também que esta possa ser construída de forma interativa, ou seja, que usuários possam colaborar uns com os outros para juntos gerarem uma RS na qual, durante todo o processo, possam gerar versões de conteúdo e interagir através de comentários voltados a estas versões.
79
Um estudo de caso foi inicialmente feito para avaliar a proposta da ferramenta por estudantes de Mestrado do curso de Qualidade de Sistemas, em que estes utilizaram e forneceram retornos sobre o funcionamento da ferramenta, porém, este foi cancelado por motivos de organização. Os estudantes começaram a utilizar a ferramenta após terem feito as RS, ou seja, para estes, foi um processo retroativo, o que não demonstrou ser uma forma adequada de avaliar corretamente a utilização e a proposta da ferramenta. Os estudantes não utilizaram a ferramenta da forma e pelo motivo desta ter sido desenvolvida, ou seja, não utilizaram a interatividade que esta proporciona, tornando o estudo inválido e não adequado para este trabalho.
Dessa forma, foi considerado um outro tipo de avaliação da proposta da ferramenta, a aplicação de um Survey, o qual poderia considerar com uma maior relevância a proposta da ferramenta, assim, foi disponibilizando um vídeo demonstrativo que pôde ser evidenciado as funcionalidades de interatividade da ferramenta com sua proposta original. Um e-mail foi feito e enviado ao grupo de estudantes de Mestrado e Doutorado da Universidade Federal do Rio Grande do Norte e à SBC-L a fim de realizar este Survey e, apesar da pouca quantidade de participantes, os resultados obtidos foram satisfatórios, pois os participantes demonstraram uma grande curiosidade sobre a ferramenta e suas funcionalidades, além de os resultados finais apurados terem sido satisfatórios com resultados positivos acima dos 80%. A proposta da ferramenta foi considerada satisfatória e esta poderá ser disponibilizada para utilização.
Este trabalho também teve objetivos secundários, os quais foram os de mostrar a validade da utilização de RS, pois esta ainda se encontra um pouco “escondida“ da área acadêmica, demonstrando que o uso de RS poderia ser melhor aplicada na área de pós- graduação. A aplicação do Survey mostrou ainda que existem muitos estudantes que não tem conhecimento sobre esta forma de pesquisa e, por verem o vídeo demonstrativo e responderem ao questionário, tiveram curiosidade de conhecê-la.
Como trabalhos futuros, pretende-se dar continuidade no desenvolvimento da ferramenta SAEE, considerar as críticas e sugestões dos participantes da aplicação do Survey e também do estudo de caso, o que apesar de ter sido cancelado, suas críticas e sugestões puderam ser consideradas, adicionar melhorias e mais funcionalidades referentes à interatividade dos usuários e tornar a ferramenta viável para um uso mais amplo.
80
APÊNDICE A
Estudo de caso: Aplicação da ferramenta SAEE
Um estudo de caso foi feito para avaliar e obter dados preliminares sobre a viabilidade de utilização da ferramenta SAEE. A avaliação foi aplicada em estudantes de pós-graduação em Ciência da Computação (Mestrado), a qual foi aplicado um questionário durante o curso de Qualidade de Sistemas. A avaliação foi feita virtualmente, por meio do software gratuito Googledocs, e foi realizada durante duas semanas, das quais os estudantes disponibilizaram para preencher e enviar o formulário. Quinze estudantes estavam aptos para participaram da avaliação, dos quais foram divididos em quatro grupos, gerando, assim, quatro RS.
Dessa forma, o questionário construído para a avaliação consiste de cinco objetivos principais, mostrados na Tabela 1, e vinte e quatro questões, mostrados na Tabela 2. Seguindo os objetivos, o questionário foi dividido em cinco partes das quais foram transparentes aos participantes: a parte 1 (Q1 a Q4), se refere a coletar dados das opiniões dos estudantes em relação a realizar a atividade com e sem a ferramenta SAEE; a parte 2 (Q5, Q6, Q8, Q12, Q14, Q18 e Q21), se refere a opinião dos estudantes sobre as funcionalidades específicas da ferramenta SAEE; a parte 3 (Q7, Q9, Q10, Q11, Q13, Q15, Q16, Q17, Q19, Q20), se refere a interatividade proporcionada pela ferramenta SAEE; a parte 4 (Q22), se refere a caracterização da ferramenta SAEE sobre sua facilidade de uso; a parte 5 (Q23), se refere a caracterização da ferramenta SAEE sobre sua utilidade. Além de uma questão que será aberta para o estudante opinar livremente sobre a ferramenta ou sobre o processo de RS em si. Todas as partes envolvidas acima podem ser vistas nos objetivos mostrados na Figura 1.
81
Objetivos Descrição
1 Avaliar se há diferenças na geração de RS com e sem uma ferramenta de auxílio. 2 Avaliar as funcionalidades adicionais da ferramenta SAEE.
3 Avaliar a interatividade da ferramenta SAEE. 4 Avaliar a facilidade de uso da ferramenta SAEE. 5 Avaliar a utilidade da ferramenta SAEE.
Tabela 1: Objetivos do questionário.
Questão Descrição
Q1 Em sua opinião, foi mais fácil gerar uma RS com o auxílio da ferramenta?
Q2 Em sua opinião, houve fácil interação entre você e seu grupo na geração da RS com o auxílio da ferramenta?
Q3 Em sua opinião, a interação entre seu grupo e o professor foi melhor com o auxílio da ferramenta?
Q4 Em sua opinião, a organização do conteúdo gerado pelo grupo durante o processo da RS foi melhor com o auxílio da ferramenta?
Q5 As orientações contidas nas telas facilitaram o uso da ferramenta?
Q6 As orientações de preenchimento contidas em cada item da RS melhorou o entendimento destes?
Q7 Como você avalia a interatividade entre usuários através de comentários? Q8 Como você avalia a possibilidade de poder adicionar um avaliador em sua RS? Q9 A interatividade através de comentários entre usuários de seu grupo melhorou a
qualidade da RS?
Q10 A interatividade através de comentários melhorou:
Q11 A interação entre usuários e avaliadores foi frequente e satisfatória?
Q12 A possibilidade de ver o conteúdo das RS de outros usuários o ajudou a melhorar a qualidade de sua RS?
Q13 A utilização da ferramenta por múltiplos usuários inserindo conteúdo de forma simultânea tornou o processo da RS mais rápido e satisfatório?
Q14 A possibilidade de ver o conteúdo das versões geradas de cada item possibilitou melhora de qualidade na geração de novas versões?
Q15 A interatividade através de comentários entre usuário(s) e avaliador(es) proporcionou alguma melhora na qualidade da RS?
Q16 A interação com o avaliador foi mais frequente? Q17 A interação com o avaliador foi satisfatória?
Q18 A possibilidade de ver o conteúdo das RS de outros usuários o ajudou a melhorar a qualidade de sua RS?
Q19 A utilização da ferramenta por múltiplos usuários inserindo conteúdo de forma simultânea tornou o processo da RS mais rápido?
Q20 A utilização da ferramenta por múltiplos usuários inserindo conteúdo de forma simultânea foi satisfatória?
Q21 A possibilidade de ver o conteúdo das versões geradas de cada item possibilitou melhora de qualidade na geração de novas versões?
Q22 Como você avalia a frase "Considerando o que sei sobre RS, o uso da ferramenta facilitou a execução das atividades que compõem o processo de RS.”?
82 Q23 Como você avalia a frase "Considero a ferramenta útil para executar minhas RS.”? Q24 Dê sua opinião sobre a utilização da ferramenta SAEE, suas sugestões e críticas.
Fique a vontade para responder.
Tabela 2: Questões utilizadas na modelagem GQM..
As respostas das questões variaram de acordo com seu propósito, porém um padrão foi feito para que o questionário fosse mais rápido de ser preenchido. As respostas foram divididas em quatro tipos distintos, dos quais podem ser visualizados na Tabela 3.
Tipo 1 Tipo 2 Tipo 3 Tipo 4
- Sim - Não - 5 (Ótimo) - 4 (Bom) - 3 (Regular) - 2 (Ruim) - 1 (Péssimo) - organização do conteúdo na RS - comunicação de seu grupo - qualidade da RS
- não houve melhora
- Resposta dissertativa Q1 X Q2 X Q3 X Q4 X Q5 X Q6 X Q7 X Q8 X Q9 X Q10 X Q11 X Q12 X Q13 X Q14 X Q15 X Q16 X Q17 X Q18 X Q19 X Q20 X Q21 X Q22 X Q23 X Q24 X
Tabela 3: Tipos de resposta do questionário.. Questão
Tipo de resposta
83
Avaliação e análise do estudo
Apesar de ser um estudo real e voltado a um público específico, dos quais participaram apenas estudantes de Mestrado de um curso também específico, Qualidade de Software, os resultados não foram satisfatórios por uma série de fatores que impediram que os estudantes utilizassem a ferramenta da forma como esta deveria ser utilizada. Estes fatores foram enumerados e analisados abaixo:
1. As RS foram feitas antes de se aplicar este estudo;
2. Os estudantes já haviam passado pelos passos que a ferramenta proporciona; 3. A utilização da ferramenta era optativa;
4. A principal funcionalidade da ferramenta não foi utilizada;
5. Muitos estudantes resistiram à utilização da ferramenta por não atender às requisições pessoais destes, apesar de seu foco ser a interatividade;
6. Por já terem feito as RS, os estudantes não viram motivos de utilizar a ferramente.
Assim, os resultados obtidos da pesquisa feita se resumiram a apenas dois estudantes que responderam ao questionário, dos quais responderam, em sua maioria, como “regular”, que se encontra nas opções de respostas, porém, esta respostas significou que os estudantes quiseram dizer na verdade uma resposta do tipo “indiferente”, ou seja, que não tinham opinião para a questão respectiva, pois estes argumentaram que as RS já haviam sido feitas, ou que a ferramenta não estava proporcionando melhorias com funcionalidades que estes queriam que a ferramenta tivesse.
Contudo, apesar da baixa quantidade de participantes, algumas respostas podem ser consideradas positivas no que diz respeito à proposta da ferramenta, como as respostas de algumas questões em que ambos os participantes acreditam que: a possiblidade de adição de um avaliador à RS é bastante positiva; e a possibilidade de ver o histórico de versões e discussões foi bem recebida; a ferramenta é de fácil utilização; o entendimento do que acontecia durante a utilização da ferramenta foi satisfatório; a ferramenta é simples e pode ser facilmente manipulada; a ferramenta tornou a geração de RS mais fácil; a ferramenta seguiu o processo definido na literatura; e a ferramenta facilitou o processo da RS. Um gráfico demonstrativo em que se pode ver todas as respostas dos dois participantes encontra-se na Figura 2.
84 Figura 2: Gráfico de respostas do questionário.
Na Figura 2, as questões de 1 a 6 contém respostas do tipo 1, as quais podem ser vistas na Tabela 3, porém, para o gráfico, foram representadas como a alternativa “Sim” sendo uma resposta da relevância “4” e a alternativa “Não”, da “2”. A questão 10 também foi modificada, porém ambos os participantes selecionaram a resposta indicada como “não houve melhora”, sendo então mapeada como relevância “3”.
As respostas da questão 24, por ser aberta, foram adicionadas integralmente, e podem ser vistas na Tabela 4. Nesta, os participantes demonstraram suas críticas e sugestões, além de mencionar muitos dos motivos pelos quais optaram por responder ao questionário da forma como o fizeram, dentre eles estão os motivos listados no início deste Capítulo.
Q24. Dê sua opinião sobre a utilização da ferramenta SAEE, suas sugestões e críticas. Fique a vontade para responder.
R: A ferramenta no geral é apenas um conjunto de item de um RS que a pessoa vai
preenchendo e o avaliador pode realizar "feedbacks". Na minha opinião, se o propósito inicial era ajudar na realização de uma RS como um todo, não apenas para a etapa da avaliação, a ferramenta deveria ser mais voltada ao fluxo da RS.
Etapa 1 >> Etapa 2 >> Etapa 3 >> Etapa 4 >> ... >> Etapa Final
Cada etapa teria as datas limites e as tarefas que deveriam ser realizadas. E o percentual de cada etapa. 0% a 100%. Exemplo:
Etapa 1: Definir a área da RS, o tema, a importância e a necessidade da RS Etapa 2: Definir os Métodos Fontes e Estratégias de Revisão
Etapa 3: Pesquisa e update dos artigos selecionados na fase X da RS etc..
Era muito importante que a ferramenta servisse como um repositório dos artigos buscados, e que ela agrupasse esses artigos de acordo com os critérios de avaliação da RS. Compartilhando esses artigos com todos os participantes da RS. Isso pouparia o trabalho de ficar enviando artigos por email e organizando aqueles aprovados e reprovados em cada etapa da revisão, foi uma coisa que deu muito trabalho. Ao completar todas as etapas, ai sim
85 poderia ter um formulário para avalição com todos os itens da revisão. De forma que a ferramenta já preenchesse cada item com as informações coletadas em cada etapa do processo de realização da RS. Ps.: A ferramenta não foi usada desde o início da RS, então muitas das perguntas desse questionário não se aplicam, por isso receberam avaliação regular (nem bom, nem ruim), já que não tinha a alternativa "não se aplica".
R: Quanto à ferramenta, eu senti bastante dificuldade de gerar novas versões. Inclusive,
quando gerei a versão (cliquei em ENVIAR), o rascunho do meu trabalho atual continuava na tela... Então eu fazia algumas modificações e clicava em ENVIAR novamente, e dizia que havia sido enviado. Apareceu até mensagem de confirmação e tudo. Mas não aparecia uma nova versão ali embaixo... Então fiquei confusa... Mas acreditei que havia enviado devido a mensagem de confirmação. Porém, quando eu enviei tudo e reentrei na Revisão Sistemática, percebi que somente a primeira versão havia sido enviada. Fiquei bastante triste com isso... No lugar de novas versões, foram gerados comentários vazios em meu nome. Outro problema encontrado foi na criação de tabelas. A tabela criada no rascunho aparece sem bordas, mas quando atualizo, aparece as bordas (caso tenha 2 colunas, se houver mais continua sem aparece). E quando eu submeto e verifico a versão gerada, a tabela não possui bordas... Era para aparecer opção com bordas, caso contrário pode dificultar a leitura dos dados. Um último problema encontrado foi quanto atualizar a versão. Não encontrei nenhuma opção de "EDITAR ESTA VERSÃO". Por exemplo, estou lendo a versão e percebo um erro. Quero criar uma nova versão baseada naquela. Para fazer isso, eu copio e colo todo o conteúdo na área de trabalho. Porém, o COPIAR E COLAR ainda apresenta um problema: ele não copia os atributos de cores. Então se eu gerei uma versão com certas partes coloridas, se for alterar, quando copiar e colar vai vir tudo com a letra padrão: preto. Isso aconteceu comigo no caso do "Referências e Anexos". Apesar desses três problemas encontrados, a experiência foi positiva. As questões guiaram no processo de escrita do artigo visto que os nomes eram bem indicativos. Porém, não sabia que todos podiam mexer simultaneamente, então nem usamos a ferramenta para todo o processo da escrita em conjunto, usamos apenas para olhar os tópicos e depois submeter. A questão de não ter como deletar versões também não nos depositou confiança, e por isso só submetemos quando estava praticamente pronto. Mas eu gostei muito da questão de datas, que podia colocar o prazo, e depois alterar. Achei mais flexível, porque atrasamos o deadline, mas toda vez que alterava eu tinha que ir lá alterar cada uma... Achei bom porque me dava certo trabalho e me colocava mais culpa por estar atrasada no deadline, mas também foi bom porque nos propiciou o envio alterando somente a data limite de submissão. Agradeço desde já pela possibilidade de utilizar a ferramenta e postar minha opinião. Espero que os comentários ajudem.
Tabela 4: Respostas dissertativas dos estudantes.
Conclusão
Este estudo foi realizado com o intuito de validar a utilização de RS de forma interativa e verificar como os participantes iriam responder à ferramenta, porém, muitos problemas ocorreram dos quais inviabilizaram a utilização deste estudo para uma indicação sólida de que a ferramenta e sua proposta atendem ou não os objetivos definidos. Assim, os resultados obtidos não foram satisfatórios para tirar uma conclusão
86
concreta sobre a proposta da ferramenta, contudo, mesmo sendo um estudo inválido, as respostas obtidas puderam ajudar na verificação das funcionalidades que foram aceitas e que alcançaram um nível bom de satisfação por parte dos participantes.
87
Referências Bibliográficas
[AMARAL, 2003] Amaral, E. Empacotamento de Estudo Experimentais em Engenharia de Software, Dissertação de Mestrado. COPPE/UFRJ, Programa de Engenharia de Sistemas e Computação, Rio de Janeiro, RJ, Brasil, 2003.
[APA, 2001] American Psychological Association. Publication Manual of the American Psychological Association. 5th edn, American Psychological Association, Washington, DC.
[BASILI, 2000] Basili, V., Caldiera, G., Rombach, H. The Goal Question Metric Approach. University Of Maryland College Park, Maryland.
[BIOLCHINI et al., 2005] Biolchini, J. Mian, P. Natali, A, Travassos, G.“Systematic Review in Software Engineering: Relevance and Utility, Relatório Técnico ES- 679/05, PESC - COPPE/UFRJ, 2005.
[CAVALCANTE, 2012] Cavalcante, F. Microsoft Office vs. LibreOffice vs. Google Docs. Matéria Superdownloads. Disponível em: <http://www.superdownloads.com.br/ materias/microsoft-office-vs-libreoffice-vs-google-docs.html>. Acesso em: 03 jan. 2013.
[DEKEYSER, 2004] Dekeyser, S. Towards a new approach to tightly coupled document collaboration, In Ninth Australasian Document Computing Symposium, Melbourne, 2004.
[DOBRATZ, 2005] Dobratz, S. Thinking the long term: the XML-based publishing workflow for handling electronic theses and dissertations at Humboldt University, In ETD2005: Evolution Through Discovery; the 8th Int'l Symposium on Electronic Theses & Dissertations, Sydney, 2005.
[DONOVAN, 2010] Donovan, J. Playing Well With Others: Collaborative Tools for Successful Group Projects, University of Georgia School of Law Library, 2010.
[EDUCAUSE, 2008] Educause Learning Initiative. 7 things you should know about Google Apps. Disponível em <http://net.educause.edu/ir/library/pdf/ELI7035.pdf>. Acesso em: 03 jan. 2013.
88
[GERMAN, 2004] German, D. Mining cvs repositories, the softchange experience, Proceedings of the 1st International Workshop on Mining Software Repositories, 2004. [GOOGLEDOCS, 2006] Google Docs. Disponível em: <https://docs.google.com/>. Acesso em: 03 jan. 2013.
[HERNANDES et al., 2012] Hernandes, E. Zamboni, A. Fabbri, S. Thommazo, A. Using GQM and TAM to evaluate StArt – a tool that supports Systematic Review. CLEI Electronic Journal, volume 15, número 1, paper 2, 2012.
[ICMC-USP et al., 2012] ICMC-USP. Martins, R. ReVis: User´s Manual. Institute of Mathematics and Computer Science - University of São Paulo, 2012.
[JEDLITSCHKA et al., 2005a] Jedlitschka, A., Pfahl, D. Reporting Guidelines for Controlled Experiments in Software Engineering. IESE-Report IESE-035.5/E.
[JEDLITSCHKA et al., 2005b] Jedlitschka, A., Pfahl, D. Reporting Guidelines for Controlled Experiments in Software Engineering. In Proceedings of ACM/IEEE International Symposium on Software Engineering 2005 (ISESE2005). Noosa Heads, Australia, pp. 95–104.
[JURISTO; MORENO, 2001] Juristo, N., Moreno, A. Basics of Software Engineering Experimentation. Kluwer Academic Publishers, Boston, MA.
[KITCHENHAM et al., 2001] Kitchenham, B. Pfleeger, S. Principles of Survey Research Part 1: Turning Lemons into Lemonade, ACM SIGSOFT, Software Engineering Notes Vol. 26 nº 6, 2001.
[KITCHENHAM et al., 2002] Kitchenham, B.A. Pfleeger, S.L. Pickard, L.M. Jones, P.W. Hoaglin, D.C. El Emam, K. Rosenberg, J. Preliminary Guidelines for Empirical Research in Software Engineering. IEEE Transactions on Software Engineering, Vol. 28, No. 8, pp. 721–734.
[KITCHENHAM et al., 2002a] Kitchenham, B. Pfleeger, S. Principles of Survey Research Part 2: Designing a Survey, ACM SIGSOFT, Software Engineering Notes Vol. 27 nº 1, 2002.
89
[KITCHENHAM et al., 2002b] Kitchenham, B. Pfleeger, S. Principles of Survey Research Part 3: Constructing a Survey Instrumen, ACM SIGSOFT, Software Engineering Notes Vol. 27 nº 2, 2002.
[KITCHENHAM et al., 2002c] Kitchenham, B. Pfleeger, S. Principles of Survey Research Part 4: Questionnaire Evaluation, ACM SIGSOFT, Software Engineering Notes Vol. 27 nº 3, 2002.
[KITCHENHAM et al., 2002d] Kitchenham, B. Pfleeger, S. Principles of Survey Research Part 5: Populations and Samples, ACM SIGSOFT, Software Engineering Notes Vol. 27 nº 5, 2002.
[KITCHENHAM et al., 2003] Kitchenham, B. Pfleeger, S. Principles of Survey Research Part 6: Data Analysis, ACM SIGSOFT, Software Engineering Notes Vol. 28 nº 2, 2003.
[KITCHENHAM et al., 2004] Kitchenham, B. Procedures for Performing Systematic Reviews, Technical Report Software Engineering Group, Keele University, Australia, 2004.
[KITCHENHAM et al., 2004a] Kitchenham, B. Dybå, T. Jørgensen, M. Evidence- Based Software Engineering, In Proceedings of 26th International Conference on Software Engineering (ICSE’04), pp. 273–281.
[KITCHENHAM et al., 2006] Kitchenham, B. Al-Khilidar, H. Ali Babar, M. Berry, M. Cox, C. Keung, J. Kurniawati, F. Staples, M. Zhang, H. Zhu, L. Evaluating Guidelines for Empirical Software Engineering Studies, In Proceedings of ACM/IEEE International Symposium on Software Engineering 2006, ISESE 2006.
[KITCHENHAM, 2007] Kitchenham, B. Guidelines for performing Systematic Literature Reviews in Software Engineering, EBSE Technical Report EBSE-2007- 01, Software Engineering Group Department of Computer Science Keele University, 2007.
[MARTINS, 2012] Martins, R. Felizardo, K. Systematic Literature Review Supported by Visual Analytics, Revis: User´s Manual, University of São Paulo, ICMC
90
- Institute of Mathematics and Computer Science, Departament of Computer Science, 2012.
[MARTINS et al., 2010] Martins, A., Justino, A., Gabriel, G. SBIDM: comunicação síncrona, assíncrona e multidireccional, Serviços de Bibliotecas, Informação Documental e Museologia da Universidade de Aveiro Campus universitário de Santiago, 2010.
[MICROSOFT, 2012] Microsoft Office Live (Sky Drive). Disponível em: <https://skydrive.live.com>. Acesso em: 03 jan. 2013.
[MOHER et al., 2001] Moher, D. Schulz, K.F. Altman, D. The CONSORT Statement, Revised Recommendations for Improving the Quality of Reports of Parallel-Group