SİMKO İSMAİL
III-) DİPLOMATİK İLİŞKİLERİN KURULMASI VE TEMASLAR
Dispositivo tecnológico para o processo de validação de conteúdo: relato de experiência
Technological device for the content validation process: experience report
Dispositivo tecnológico para el proceso de validación de contenido: relato de experiencia Kisna Yasmin Andrade Alves1 Viviane Euzébia Pereira Santos2
1Enfermeira. Mestranda do PPGENF-UFRN. Membro do grupo de pesquisa laboratório de investigação do cuidado, segurança e tecnologias em saúde e enfermagem da Universidade Federal do Rio Grande do Norte. E- mail: [email protected]
2Enfermeira. Doutora em Enfermagem. Professora Adjunto do Departamento de Enfermagem e Pós Graduação em Enfermagem e Vice-líder do grupo de pesquisa laboratório de investigação do cuidado, segurança e tecnologias em saúde e enfermagem da Universidade Federal do Rio Grande do Norte. E-mail: [email protected]
RESUMO
Trata-se de um relato de experiência de construção de dispositivo tecnológico para o processo de validação de conteúdo, realizado durante projeto de dissertação de mestrado. Objetiva-se relatar a experiência de construção de dispositivo tecnológico para o processo de validação de conteúdo. A construção do dispositivo tecnológico cognominado de “Instrumento de
validação de conteúdo do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva’” ocorreu mediante as etapas: 1) revisão
integrativa da literatura; 2) obtenção de conhecimento sobre o formulário Google docs; 3) banca de qualificação; 4) aplicação do Delphi 1; 5) aplicação do Delphi 2; e 6) resultado final: protocolo validado. O dispositivo tecnológico foi construído a partir de formulários do Google docs. Relata-se o processo de construção, bem como as vantagens e desvantagens vivenciadas. A experiência demonstrou que os dispositivos tecnológicos correspondem a uma ferramenta útil para os processos de validação.
Descritores: Enfermagem; Estudos de Validação; Coleta de Dados; Tecnologia. ABSTRACT
This is an experience report of constructing a technological device to the content validation process, conducted during a master’s dissertation project. We aim to report the experience of constructing a technological device to the content validation process. The construction of the technological device nicknamed the “Content Validation Instrument ‘Evaluation protocol of nursing care and patient safety in Intensive Care Units’” occurred through the following steps: 1) integrative literature review; 2) obtaining knowledge about the Google docs’ forms; 3)
board of master’s degree dissertation; 4) application of Delphi 1; 5) application of Delphi 2;
and 6) final result: validated protocol. We constructed the technological device from Google
docs’ forms. We report the construction process as well as the advantages and disadvantages
experienced. The experience has shown that technological devices represent a useful tool for the validation processes.
Key words: Nursing; Validation Studies; Data Collection; Technology. RESUMEN
Relato de experiencia de construcción de dispositivos tecnológicos para el proceso de validación de contenido, llevado a cabo durante disertación de maestría. El objetivo fue conocer la experiencia de construcción de dispositivos tecnológicos para el proceso de validación de contenido. La construcción del dispositivo tecnológico "Instrumento de validación de contenido del ‘Protocolo de evaluación de la atención de enfermería y de la seguridad de pacientes en Unidades de Cuidados Intensivos’" ocurrió a través de los pasos: 1) revisión de la literatura; 2) obtención de conocimiento sobre formulario Google docs; 3) banca de calificación; 4) aplicación del Delphi 1; 5) aplicación de Delphi 2; y 6) resultado final: protocolo validado. El dispositivo tecnológico se construye a partir de formularios Google Docs. Se presenta el proceso de construcción, así como las ventajas y desventajas experimentadas. La experiencia ha demostrado que los dispositivos tecnológicos representan herramienta útil para los procesos de validación.
INTRODUÇÃO
Os processos de validação de instrumentos são técnicas metodológicas comumente utilizadas nas pesquisas em saúde, especialmente, na Enfermagem, a qual os utiliza para a validação de diagnósticos de enfermagem, na maioria de estudos(1).
Por validação entende-se o grau de aptidão que um instrumento apresenta para mensurar determinado aspecto, verificando a confiabilidade do mesmo. São categorizados em quatro tipos: 1) validação de face ou aparente; 2) validade de conteúdo; 3) validade de critério; e 4) validade de constructo(2-3).
A validação de conteúdo corresponde à adequação do instrumento por juízes para que o mesmo possa representar o conteúdo a que se destina avaliar(2). Os modelos empregados para a sua concretização são diversos – Modelo de Avant; o Modelo de Gordon e Sweeney, o Modelo de Hoskins, o Modelo de Fehring, Método de Pasquali e Técnica de Delphi(1). A Técnica de Delphi, uma das temáticas contempladas neste estudo, é conceituada como processo grupal objetivando comparar e direcionar julgamento de juízes para um consenso a respeito de determinado fenômeno(4).
Nessa perspectiva, alguns aspectos devem ser cumpridos para o sucesso do processo. Pode-se citar, por exemplo, a construção de dispositivos tecnológicos, aqui compreendido como instrumentos inovadores, pautados em ferramentas tecnológicas, direcionados a coleta de dados. Àqueles disponibilizados pela internet, por exemplo, são válidos e apresentam como principais vantagens: baixo custo, rapidez em todo o processo e a obtenção de respostas de melhor qualidade(5).
Como dispositivo tecnológico possível de ser utilizado em coleta de dados e nos processos de validação de conteúdo, menciona-se os formulários do Google docs, um dos aplicativos do Google drive, disponível no endereço eletrônico http://www.google.com/intl/pt-BR/drive/apps.html.
Este estudo, portanto, constitui-se numa das sínteses dos resultados da dissertação de
mestrado intitulado “Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente em Unidades de Terapia Intensiva” e é justificado pela necessidade de divulgação de
dispositivos tecnológicos que possam auxiliar os membros da comunidade científica na concretização dos processos de validação de conteúdo, bem como demais caminhos metodológicos que utilizem dispositivos – formulários, questionários, etc. – como estratégia de coleta de dados.
Assim, objetiva-se relatar a experiência de construção de dispositivo tecnológico para o processo de validação de conteúdo.
MÉTODO
Trata-se de um relato de experiência de construção de dispositivo tecnológico para o processo de validação de conteúdo, realizado durante o desenvolvimento do projeto intitulado
“Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente em Unidades de Terapia Intensiva”, uma das etapas metodológicas do projeto “Avaliação do cuidado e da segurança do paciente em Unidades de Terapia Intensiva” concretizado no curso de mestrado
acadêmico.
O estudo seguiu todos os preceitos éticos apresentados na Resolução nº 466, de 12 de dezembro de 2012(6) e foi aprovado pelo Parecer Consubstanciado do Comitê de Ética em Pesquisa da UFRN, nº 461.246, de 1 de novembro de 2013, sob CAAE nº 19586813.2.0000.5537.
RESULTADOS E DISCUSSÃO
Dispositivo tecnológico para validação de conteúdo: o processo de construção
A construção do dispositivo tecnológico cognominado de “Instrumento de validação
de conteúdo do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva’” ocorreu mediante as etapas (Figura 1).
A etapa 1 foi constituída a partir da revisão integrativa da literatura para a busca das evidências acerca da temática elencada– cuidado de enfermagem e a segurança do paciente na Unidade de Terapia Intensiva (UTI). A pesquisa ocorreu nos Banco de Teses da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e no portal do Centro Colaborador para a Qualidade do Cuidado e a Segurança do Paciente (PROQUALIS).
Obteve-se, assim, vinte e uma produções, categorizadas a partir da classificação definida por dez níveis de evidências(7). Posteriormente à síntese das evidências e categorização, iniciou-se a construção da versão inicial, no programa Microsoft Word. Essa versão passou por uma análise inicial por uma enfermeira com doutoramento.
Figura 1 – Etapas de construção do “Instrumento de validação de conteúdo do
‘Protocolo de avaliação do cuidado de
enfermagem e da segurança do paciente nas
Unidades de Terapia Intensiva’”, 2014.
A ferramenta do google docs foi apresentada, como uma alternativa para operacionalização da coleta de dados, durante a disciplina do curso de mestrado “Métodos
Quantitativos de Produção de Conhecimento”, do Programa de Pós-graduação em
Enfermagem da Universidade Federal do Rio Grande do Norte.
Assim, com o intuito de transcrever a versão inicial no formulário do Google docs, realizou-se buscas por informações na Rede Mundial de Computadores (Internet) acerca de informações sobre a construção do formulário, compondo a etapa 2. Essa etapa foi anteparada por déficit de informações, o que levou as autoras à realização de diversas tentativas a fim de obter aprofundamento teórico e prático do formulário.
Após a compreensão da utilização do formulário, procedeu-se a construção final do dispositivo tecnológico, o qual, mais uma vez, passou pela avaliação dos itens por enfermeiros doutores, doutorandos e mestres do Grupo de Pesquisa Laboratório de Investigação do Cuidado, Segurança, Tecnologias em Saúde e Enfermagem.
O dispositivo tecnológico intitulado “Instrumento de validação de conteúdo do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva (Figura 2)’” foi configurado em3 campos temáticos: 1) Identificação do juiz; 2) “Tópicos para avaliação do ‘Protocolo de avaliação do cuidado de enfermagem e da
“Elemento ‘estrutura’ x o cuidado de enfermagem e a segurança do paciente”, “Elemento ‘processo’ x o cuidado de enfermagem e a segurança do paciente” e “Nível de segurança do
paciente conforme os elementos "estrutura" e "processo"”; e 3) “Avaliação dos itens conforme as recomendações de Pasquali(8)”.
O campo “Identificação do juiz” possibilita traçar o perfil dos juízes a partir das respostas de10 itens. Os “Tópicos para avaliação do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva’” foi arranjado por
97 itens, apresentados em questões de múltiplas escolhas e espaços para comentários. Por sua
vez, o campo “Avaliação dos itens conforme as recomendações de Pasquali(8)”, como o
objetivo de avaliar o instrumento conforme os pressupostos de Pasquali(8), foi apresentado em seis itens.
Como parte integrante do curso de mestrado acadêmico, etapa 3, as autoras submeteram a banca de qualificação, a qual foi orientada da possibilidade de prejuízos durante o processo de validação, uma vez que o dispositivo tecnológico era extenso e a ferramenta do Google docs impossibilita salvar as respostas à medida que são preenchidas, apenas após a conclusão de todos os itens.
Com intuito de contornar essa limitação, o dispositivo tecnológico foi desmembrado em três Uniform Resource Locators (URL’s) distintos, correspondendo aos seguintes
formulários: 1) “Identificação do juiz”; 2) “Tópicos para avaliação do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas unidades de terapia intensiva”’; e 3) “Avaliação dos itens conforme as recomendações de Pasquali(8)”.
Após essa etapa, encaminharam-se os URL’s e orientações sobre o preenchimento dos formulários aos juízes – selecionados através da Plataforma Lattes de Currículos Lattes, disponível no portal Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) – para início da avaliação, correspondendo à etapa Delphi 1 (etapa 4).
A apreciação estatística dos resultados dessa primeira etapa demonstrou que cinco dos
97 itens dos “Tópicos para avaliação do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva”’ não tiveram consenso,
culminando na segunda rodada, Delphi 2 (etapa 5). Essas duas etapas foram fundamentais para identificar as vantagens e desvantagens dos dispositivos tecnológicos, as quais são apresentadas a seguir.
Figura 2 – “Instrumento de validação de conteúdo do ‘Protocolo de
avaliação do cuidado de enfermagem e da segurança do paciente nas
Unidades de Terapia Intensiva’” x subdivisão em três formulários, 2014.
O instrumento é disponibilizado nos seguintes URL’s:
1) https://docs.google.com/forms/d/1ifysNch9fkGvg8o7ki9sWMMwVsRHcoxNS3 DC_8E38Yg/viewform 2) https://docs.google.com/forms/d/1ihvj1UwXTidLnLM0wfAkznDm- fsGxbIXUo4RK_tIsSw/viewform 3) https://docs.google.com/forms/d/1873JANTo1jKGgwMXO9NyKsLuoDst5i9Nqc _8lizrBJo/viewform
Vantagens e desvantagens do dispositivo tecnológico
A concretização das etapas Delphi 1 e Delphi 2 permitiu constatar as vantagens e desvantagens da utilização do dispositivo tecnológico disponíveis na Internet, em especial, a deste estudo.
Os dispositivos tecnológicos fornecem, como vantagens: 1) para o responsável pela pesquisa: facilidade na organização dos itens e tabulação de dados. A ferramenta Google docs possibilita a criação de planilhas com alimentação automática de dados, a medida que são respondidos os itens; e menores chances de perdas das respostas, pela estratégia de
preenchimento “obrigatório” de cada item; e 2) para os juízes: otimização do tempo quanto ao
seu preenchimento; apresentação de formulários sem rasuras; e facilidade de manejo do dispositivo tecnológico.
Sobre esses aspectos, estudos demonstram que o auxílio da Internet é cada vez mais popular, devido às vantagens de menores custos; capacidade de atingir públicos específicos; rapidez na aplicação; na ótica do respondente, o dispositivo permite o preenchimento de forma mais conveniente, no local e tempo definido por eles; maior flexibilidade; presença de perguntas obrigatórias; economia de tempo; e facilidade na tabulação de dados, convergindo para os achados deste estudo(9-10).
No entanto, frente a essas vantagens, autores alertam que para cada método existem desvantagens, sendo imprescindível a elaboração de estratégias para contorná-los(9).
Dentre as principais desvantagens, a literatura aponta a falta de habilidade dos respondentes; dependência da tecnologia – o sucesso do preenchimento do instrumento depende do tipo de configuração de conexão com a internet e configuração do computador –; e baixa taxa de resposta(10).
As principais desvantagens vivenciadas neste estudo foram a dependência de uma conexão de Internet e configuração adequada dos computadores dos juízes e a taxa de resposta que, em alguns formulário, foi alta e em outros, baixa.
Sobre a primeira desvantagem, criou-se a estratégia de divisão do dispositivo tecnológico em três formulários, já supracitado, somado a orientação aos juízes dessa limitação do dispositivo. Essa estratégia, no entanto, levou a discrepância no número de respostas, pois os formulários não eram interdependentes.
Dessa forma, obteve-se, por exemplo, no primeiro formulário, “Identificação do juiz”,
14 respostas e nos demais, “Tópicos para avaliação do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva’” e “Avaliação
dos itens conforme as recomendações de Pasquali(8)”, apenas nove. Acredita-se que os fatores da Internet e configuração do computador contribuíram com tais resultados, uma vez que se evidenciaram na planilha respostas idênticas enviadas duas vezes. Articulado a isso, a extensão do instrumento pode ter contribuído negativamente para este aspecto, desmotivando os juízes para o preenchimento completo de todo o dispositivo, ou seja, dos três formulários.
Outra dificuldade enfrentada foi a resistência, por parte dos juízes, para o cumprimento de recomendações. No momento de disponibilização dos URL’s para início do processo de validação, foram orientados alguns procedimentos – a notificação do juiz quanto ao recebimento do envelope; preenchimento obrigatório dos três formulários constituintes do
instrumento; e notificação a mestranda quanto a finalização do seu preenchimento–, objetivando contornar as limitações já apresentadas da ferramenta. Apenas nove (9) seguiram todas as etapas, constituindo, assim, a amostra da etapa Delphi 1.
CONSIDERAÇÕES FINAIS
O dispositivo tecnológico, construído a partir dos aplicativos do Google drive, é uma importante ferramenta de coleta de dados e, especialmente, de validação de conteúdo de instrumentos.
Mesmo diante de algumas limitações, o “Instrumento de validação de conteúdo do ‘Protocolo de avaliação do cuidado de enfermagem e da segurança do paciente nas Unidades de Terapia Intensiva’” possibilitou a validação de conteúdo dos 96 dentre o conjunto de 97
itens. Um item não obteve consenso e a ausência de sugestões para o mesmo impossibilitou a realização da terceira rodada, que seria denominada Delphi 3.
A experiência demonstrou, portanto, que os dispositivos tecnológicos, destacando o apresentado, correspondem a uma ferramenta útil para os processos de validação. No entanto, alerta-se para a necessidade de aperfeiçoamento e de novas estratégias que anteparem os obstáculos apresentados.
REFERÊNCIAS
1. Chaves ECL, Carvalho EC, Rossi LA. Validação de diagnósticos de enfermagem: tipo, modelos e componentes validados. Rev Eletr Enferm[periódico na internet]. 2008 [acesso em
25 jan 2014];10(2):513-20. Disponível em:
http://www.revistas.ufg.br/index.php/fen/article/view/8063
2. Polit DF, Beck CT, Hungler BP. Fundamentos de pesquisa em enfermagem: métodos, avaliação e utilização. 5ª ed. Porto Alegre (RS): Artes Médicas; 2004.
3. Queijo AF. Tradução para o português e validação de um instrumento de medida de carga de trabalho de enfermagem em unidade de terapia intensiva. São Paulo (SP). Dissertação. [Mestrado em Enfermagem] - Programa de Pós-Graduação em Enfermagem, Universidade de São Paulo; 2002.
4. Spínola AWP. Delfos: proposta tecnológica alternativa. São Paulo (SP): Faculdade de Saúde Pública; 1984.
5. Moysés GLR, Moori RG. Coleta de dados para a pesquisa acadêmica: um estudo sobre a elaboração, a validação e a aplicação eletrônica de questionário[internet]. 2007 [acesso em 17
jan 2014]. Disponível
em:http://www.abepro.org.br/biblioteca/ENEGEP2007_TR660483_9457.pdf
6. Conselho Nacional de Saúde (Brasil). Resolução Nº 466, de 12 de dezembro de 2012 [legislação na internet]. Brasília; 2013[acesso em 25 jun 2014]. Disponível em: http://conselho.saude.gov.br/resolucoes/2012/Reso466.pdf
7. Cavalcanti YW, Freires IA, Carreiro Júnior E, Gonçalves DT, Morais FR, Lira-Júnior R et al. Determinação do Nível de Evidência Científica de Artigos sobre Prótese Total Fixa Implanto-Suportada. Rev Bras Ciênc Saúde2011;14(4):45-50.
8. Pasquali L. Princípios de elaboração de escalas psicológicas. Rev Psiquiatr Clín 1998;25(5):206-13.
9. Malhotra NK. Pesquisa de Marketing: uma orientação. 4ª ed. Porto Alegre (RS): Bookman; 2006.
10. Gonçalves DIF. Pesquisas de marketing pela internet: As percepções sob a ótica dos Entrevistados. Rev Administração Mackenzie [periódico na internet]. 2008 [acesso em 25 jan
2014];9(7):70-88. Disponível
5.4 Artigo 4: Protocolo de avaliação do cuidado de enfermagem e da segurança