Conforme salientaram RICHARDSON et al. (1999), não existem, atualmente, regras claras para avaliar a adequação de questionários para um determinado público-alvo, sendo de responsabilidade do pesquisador a determinação do tamanho, natureza e conteúdos mais apropriados para a análise do problema pesquisado. Os autores recomendam, entretanto, que os questionários sejam dimensionados para um tempo de preenchimento máximo de uma hora.
Segundo MARCONI & LAKATOS (1982), os questionários devem conter 20 a 30 perguntas e demorar cerca de 30 minutos para ser respondido. As autoras ressaltam, entretanto, que estes números não são fixos para toda e qualquer situação, podendo variar em função do tipo de pesquisa e dos informantes.
Neste trabalho, o processo de seleção de questões, descrito no item anterior, resultou em um total de 45 questões na 1ª linha de investigação, e 42 questões, na 2ª linha, número superior ao usualmente recomendado. Isso poderia exigir dos painelistas tempos significativos para preenchimento dos questionários, o que desestimularia a participação na pesquisa Delphi, implicando em baixos índices de respostas.
Buscou-se, então, compensar o problema do conteúdo mais extenso dos questionários com a elaboração dos mesmos em um formato mais amigável ao respondente, que permitisse uma rápida visualização das questões e dispusesse de recursos para facilitar e agilizar o seu preenchimento. Segundo MARCONI & LAKATOS (1982), os aspectos material e estético não podem ser negligenciados, importando, entre outras coisas, a facilidade de manipulação dos questionários.
Optou-se, assim, por construir os questionários em meio digital, em vez de meio físico, utilizando-se, como meio suporte, planilhas eletrônicas no formato padrão do software Excel, haja vista os recursos e a ampla utilização desse aplicativo no país. Tal escolha justificou-se
também por ser compatível com o procedimento adotado para interação via e-mail entre o autor e os painelistas.
Os questionários foram estruturados em quatro planilhas, identificadas com os seguintes títulos: (1) apresentação e instruções; (2) identificação; (3) questionário e (4) anexo. Nos Apêndices III.2 e III.3, são apresentados os modelos dos questionários utilizados na 1a iteração do Delphi, para as respectivas linhas de investigação desta pesquisa.
Na primeira planilha do questionário, intitulada “apresentação e instruções”, ficaram em destaque, em sua parte superior, o título da linha de investigação e a identificação da Instituição e do Programa de pós-graduação ao qual o pesquisador está vinculado. Em seguida, fez-se um breve esclarecimento sobre a origem das questões, suas modalidades e sua associação com as escalas de avaliação.
Adicionalmente, foram listadas as instruções básicas para preenchimento do questionário, especialmente quanto aos procedimentos de avaliação das questões, com explicações sobre a utilização das células de votação e sobre as opções e justificativas de voto.
Ainda na primeira planilha, em seu último item, denominado “informações complementares”, considerando-se a importância do estabelecimento de uma relação de confiança entre o pesquisador e os painelistas, reiterou-se o compromisso do grupo monitor com a preservação da identidade dos respondentes em relação às suas declarações de voto e assumiu-se um novo compromisso quanto à divulgação do resultado geral da 1a iteração, sendo disponibilizados o telefone e o e-mail do autor para outros esclarecimentos.
A segunda planilha, por sua vez, foi reservada à declaração de informações sobre o próprio respondente, particularmente quanto à sua formação e ocupação profissional.
Assim, semelhantemente ao que havia ocorrido na etapa anterior das entrevistas, com a aplicação do “formulário de qualificação do entrevistado”, fez-se uma identificação dos atributos básicos dos painelistas, essencial para o momento posterior de análise dos resultados da pesquisa Delphi. RICHARDSON et al. (1999) ressaltaram a importância de uma adequada descrição do grupo consultado, descrevendo tal tarefa como uma das funções elementares na aplicação de questionários.
O questionário propriamente dito, com as questões a serem avaliadas, somente foi apresentado na terceira planilha, sendo constituído por 9 seções, cada qual correspondente a
uma modalidade de questão distinta. Essas seções iniciaram-se com um enunciado geral em destaque, estruturado gramaticalmente sob a forma de uma frase afirmativa, explicitando-se a modalidade das questões contidas naquela seção específica (por exemplo, dificuldades constatadas), o objeto de interesse da investigação (controle da poluição hídrica, no caso da linha 1, ou aproveitamento hídrico pelos serviços de saneamento, no caso da linha 2) e o período de referência da análise (1997 a 2005, no caso de constatações; 2006 a 2010, no caso de prospecções).
Por sua vez, as questões foram organizadas com três itens elementares, dispostos em campos contíguos: (1) número e enunciado da questão, no campo superior à esquerda; (2) células de votação, no campo superior à direita; e (3) observações e/ou justificativas de voto, campo inferior (Figura 4.9).
Figura 4.9: Organização das questões na planilha “questionário” da pesquisa Delphi.
Os enunciados das questões foram apresentados de forma idêntica àquela dos registros das unidades de discurso dos entrevistados, ou seja, como um “título” que exprime sua idéia principal (item 4.5.2.6). Ao lado direito do enunciado das questões, em um campo menor, foram dispostas as “células de votação”, com a indicação da escala de avaliação, seguida do respectivo espaço de seleção da opção de voto (Figura 4.10).
Figura 4.10: Utilização das “células de votação” na avaliação das questões do Delphi.
O dispositivo das células de votação, ao permitir a avaliação qualitativa das questões por meio da seleção automática de opções de voto em uma lista previamente definida, dispensando qualquer digitação, não somente facilitou o preenchimento dos questionários, mas também eliminou qualquer possibilidade de declaração de voto não válido, ou seja, um voto não correspondente às categorias das escalas de votação (por exemplo, uma declaração de “possivelmente confiável” na avaliação da escala de confiabilidade). Isso certamente contribuiu para que a maior parte do tempo dos painelistas fosse despendido com exame das questões, e não com o preenchimento dos questionários.
Além disso, foi dada a oportunidade aos painelistas para manifestação de sua opinião sobre as questões de forma aberta, ainda que em um espaço limitado, seja para registrar alguma observação, seja para justificar sua opção de voto. Segundo DE LOË (1995), é recomendável a solicitação de justificativas para a análise dos resultados da pesquisa Delphi, evitando-se a perda de uma grande quantidade de informações.
Permitiu-se, assim, combinar algumas vantagens das questões de múltipla escolha (maior facilidade de preenchimento, e para codificação e tabulação dos resultados) com outras das questões abertas, em especial, a possibilidade de livre expressão dos respondentes. A
combinação de respostas de múltipla escolha com respostas abertas possibilita a obtenção de mais informações sobre o assunto pesquisado, sem prejuízo à organização dos resultados (MARCONI & LAKATOS, 1982; RICHARDSON et al., 1999).
Por fim, na última planilha do questionário, foram apresentadas tabelas de consulta correspondentes às escalas de votação utilizadas, com a interpretação de suas respectivas categorias.
A apresentação dessas tabelas de consulta foi imprescindível para garantir um entendimento comum quanto às opções de voto, esclarecendo-se as diferenças entre as mesmas. Segundo TUROFF (1975), os respondentes dos questionários Delphi de políticas devem ser capazes de distinguir entre os diferentes níveis (categorias) de votação.
Ademais, assegurou-se que os painelistas do Delphi, ao atribuirem um voto a uma dada questão, o fizessem cientes da interpretação que seria dada pelos monitores da pesquisa à sua manifestação de opinião.
4.5.3.3.3.Definição e elaboração do meio suporte dos questionários da segunda iteração do Delphi
Os questionários utilizados na 2ª iteração foram estruturados de forma semelhante aos da 1ª iteração, com as devidas adaptações e modificações de conteúdo, conforme apresentado no Apêndice III.4 e III.5. Por exemplo, na primeira planilha, foram apresentadas as novas instruções de preenchimento do questionário da 2ª iteração.
Por sua vez, na planilha “Questionário”, foram reapresentadas somente as questões avaliadas como não consensuais na 1ª iteração do Delphi. Nessa planilha, as células de votação já apresentavam a opção de voto do painelista na etapa anterior.
Desse modo, para o painelista ratificar a sua avaliação sobre uma determinada questão, bastava retornar o arquivo do questionário sem alterar a opção de voto na respectiva célula de votação. Diferentemente, se desejasse revisar a posição assumida na iteração anterior, poderia fazê-lo, caso a caso, selecionando uma nova opção de voto.
Tal estratégia objetivou facilitar o preenchimento dos questionários, estimulando novamente a participação dos painelistas, bem como garantir que o painelista tivesse conhecimento de sua
Nos questionários da segunda iteração, também foi facultada a opção de comentar as questões ou justificar a opção de voto, utilizando-se campos específicos reservados às "observações".
Adicionalmente, a planilha “Identificação” foi excluída do questionário da 2ª iteração, tendo em vista que as informações sobre os painelistas já haviam sido coletadas na iteração anterior, sendo inseridas outras duas planilhas: uma denominada “Resultados da 1ª iteração”, apresentando a avaliação de todas questões na iteração anterior, e a outra, denominada “Anexo II”, com a apresentação dos critérios utilizados na avaliação de consenso.
Apesar dessas novas planilhas não terem sido necessárias ao preenchimento do questionário da 2ª iteração do Delphi, optou-se por inseri-las em razão do compromisso assumido pelo autor de divulgação de todos resultados da pesquisa Delphi. Além disso, era imprescindível que os critérios utilizados na análise dos resultados fossem amplamente conhecidos.