A validação do instrumento é uma etapa importante da pesquisa para garantir a qualidade do mesmo (HOPPEN; LAPOINTE e MOREAU, 1996). Neste sentido, um pré-teste pode ser realizado com o intuito de descobrir erros, treinar o pesquisador, além de revisar a estrutura e o conteúdo do instrumento de pesquisa (COOPER e SCHINDLER, 2003). Segundo os autores, uma das formas de pré-teste é com especialistas, caracterizando uma alternativa mais informal, pela qual é possível coletar contribuições de melhorias sobre o instrumento de pesquisa.
Seguindo este caminho e visando um primeiro refinamento dos roteiros iniciais, confome demonstrado no desenho de pesquisa (seção 3.2), os mesmos foram submetidos a um pré-teste com oito integrantes do Grupo de Pesquisa sobre Gestão e Governança de TI da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS). A forma de se conseguir esta participação foi através do agendamento e solicitação de autorização do pré- teste com a coordenação do grupo, de forma a ser realizado em um dos encontros semanais do mesmo, nas dependências da PUCRS. Apesar dos integrantes deste grupo não integrarem a amostra de profissionais do caso em estudo nesta pesquisa, o motivo desta escolha para um pré-teste se deu pelo fato destes integrantes possuírem niveis de
conhecimento semelhantes aos três perfis de entrevistados desta pesquisa, além de distintos, também da mesma forma que os respondentes desta pesquisa.
Para fins de esclarecimento do procedimento, os três roteiros foram distribuídos ao grupo, separadamente e em seqüência, contendo a estrutura demonstrada nos Quadros 9 e 10:
DIMENSÃO VARIÁVEL PERFIL QUESTÃO SEQ. Continua...
... ... ... ... ...
Quadro 9 - Pré-teste com grupo de pesquisa – Parte I - Identificação das questões Fonte: Elaborado pelo autor
Além desta estrutura com as informações que permitem a identificação e o entendimento das questões, na seqüência das colunas (ao lado da coluna “SEQ.”, a partir da coluna “Continua...”) foram adicionadas mais sete colunas, conforme alguns critérios de validação de roteiros de entrevistas sugeridos por Cooper e Schindler (2003), que são demonstradas no Quadro 10:
...continuação Possui Viés Não é Perti-
nente Não está clara Possui duplo significado
“Delicada” Complexa Obs.
Quadro 10 - Pré-teste com grupo de pesquisa – Parte II - Análise das questões Fonte: Elaborado pelo autor
Nesta segunda parte (Quadro 10), foi solicitado aos participantes que marcassem com um “X” os problemas identificados na respectiva questão que estava na mesma linha, conforme a parte inicial demonstrada no Quadro 9, com exceção da última coluna, “Obs.”, que era de texto livre, complementar às opções marcadas nas colunas anteriores. Estas observações serviram de suporte para as sugestões de melhoria nos roteiros de entrevistas que serão demonstradas mais adiante neste item.
Também foi solicitado aos participantes que se colocassem na posição de respondentes, avaliando cada questão referente aos aspectos constantes no Quadro 10, sob o ponto de vista do respondente. Outra questão a ser abordada é que a análise de cada um dos três roteiros tinha um tempo pré-estabelecido com o grupo, sendo que todo o processo do pré-teste durou aproximadamente noventa minutos.
Conforme citado anteriormente, no dia do pré-teste estavam presentes oito integrantes do grupo de pesquisa. Após cada um avaliar os instrumentos individualmente, as suas contribuições individuais foram expostas ao grupo, sendo que as anotações consideradas eram debatidas tendo-se em vista se chegar a um consenso, no sentido de auxiliar o pesquisador da melhor forma, que era o objetivo do pré-teste. Isso permitiu que as
contribuições levantadas não necessitassem ser explicitadas individualmente nesta pesquisa, uma vez que cada uma delas trata-se de um consenso obtido no grupo. Desta forma, segue abaixo as contribuições deste pré-teste ao intrumento de pesquisa, todas consideradas nos roteiros semi-estruturados de pesquisa constantes nos Apêndices B, C e D deste estudo:
• As perguntas não estavam em ordem de dimensão e variável, o que foi sugerido que fosse providenciado;
• Eliminar expressões como “normalmente” e “comumente”, que apareciam em algumas questões;
• Perguntas do tipo “Como a empresa formula suas estratégias?” ou “De que forma a empresa implementa sua estratégia?” estavam muito vagas e genéricas, devendo ser elaboradas de outra forma, mais diretamente;
• Algumas questões tinham a expressão “... que lhes interessam...”, principalmente referentes aos dirigentes, o que passava um aspecto de viés;
• Algumas questões tinham a sigla “GP”, referindo-se aos gerentes de projetos, o que foi solicitado para ser escrito por extenso;
• Em algumas questões tinha a expressão “principais interessados”, em outras “stakeholders”. Foi sugerido utilizar a expressão “stakeholders” em todas as situações, visto que se tratavam da mesma coisa no contexto das perguntas;
• Em algumas questões aparecia o termo “qualidade de...”, o que ficava muito subjetivo;
• Algumas questões continham a expressão “plano estratégico” no mesmo sentido de “estratégia”, que era utilizada em outras. Desta forma, sugeriu-se adotar apenas o termo “estratégia” nestes casos;
• As perguntas referentes às metodologias corporativas existentes, de gestão estratégica e de gerenciamento de projetos, estavam no sentido de “Qual o impacto da metodologia de...”, sendo o correto seria “As metodologias estão sendo efetivamente utilizadas...?;
• Perguntas que utilizavam a expressão “Qual o período...” deveriam ser substituídas por “De quanto em quando tempo...”;
• A expressão “existência”, utilizada em algumas questões, deveria ser substituída por expressões do tipo “necessidade” ou “importância”;
• Perguntas que permitiam respostas “Sim” ou “Não” serem complementadas com: “Em caso positivo: ...” ou “Em caso negativo: ...”, para permitir ao entrevistador uma decisão rápida do caminho a tomar no caso de respostas evasivas;
• Algumas questões terminavam com a expressão “em termos gerais”, o que foi sugerido a retirada, em função de permitir uma resposta muito ampla, sem foco nos objetivos da pesquisa.
Desta forma, conclui-se que o pré-teste com o grupo de pesquisa contribuiu com o seu objetivo, na medida em que gerou 13 sugestões de melhorias para os roteiros, sendo que algumas genéricas, o que potencializa o seu benefício, aumentando consideravelmente, assim, a qualidade do mesmo, na medida em que descobriu erros existentes nos roteiros inicialmente elaborados, além de revisar a estrutura e o conteúdo do instrumento de pesquisa.
Após a realização do pré-teste com o grupo de pesquisa, conforme o desenho de pesquisa (seção 3.2), os roteiros foram ajustados conforme as sugestões dadas e submetidos a uma segunda avaliação, agora com especialistas em gerenciamento de projetos e em gestão estratégica, conforme será demonstrado no próximo item desta pesquisa.