5. BULGULAR VE YORUMLAR
5.1.10. Deneklerin WTÖ Ortamının Diğer Derslerde de Kullanılmasına İlişkin Görüşleri
Na maioria das vezes, encontramos nos sistemas de informação hospitalar funcionalidades voltadas às atividades da gestão organizacional, as quais não são suficientes para a composição dos registros assistenciais que compõem a base da gestão da informação. Para compensar isto, pequenos sistemas são desenvolvidos por iniciativas isoladas. (GUBIANI, 2003). No Complexo HCFMUSP o cenário não é muito diferente, atualmente ele conta com 3 sistemas responsáveis pela maior parte da gestão da
assistência hospitalar e aproximadamente dezenas de subsistemas para atender necessidades específicas. Embora, estejam alinhados às definições do hospital, tais sistemas não possuem integração entre si e o tratamento da informação ainda é realizado de forma insatisfatória.
Geralmente, com o intuito de disponibilizar novas formas de registro para o uso na avaliação hospitalar e devido às limitações dos sistemas, novas rotinas e atributos são criados. Na maioria das vezes, são caracterizados por implementações emergenciais, que perante a obrigatoriedade dos registros, provocam grandes impactos à operacionalização, exigindo mudanças de cultura e processo. Cabe salientar, que muitos destes sistemas foram desenvolvidos há décadas, sem a preocupação (por parte de seus projetistas) pelo desenvolvimento de rotinas e funcionalidades para a pronta obtenção de indicadores assistenciais.
Durante a pesquisa, encontramos outro cenário muito comum, a necessidade da recuperação de informações dos diversos sistemas de registro para o preenchimento de formulários (eletrônicos ou papel) para o envio aos órgãos governamentais. Neste caso, a precariedade está na falta de padronização e mecanismos de integração, por parte destes órgãos.
Quanto ao entendimento sobre a padronização da informação, percebe-se que não há um consenso, entre os gestores do HCFMUSP, sobre a adoção de um único instrumento de registro de informações geradas pelos diversos serviços de saúde. Apesar dos discursos de apoio às
iniciativas institucionais, na prática encontram-se investimentos em soluções individuais, prevalecendo necessidades locais, além de um comportamento e uma cultura resistente à utilização de mecanismos de padronização e mudanças de processo. Estes problemas se caracterizam como fatores impeditivos e proibitivos para a criação de rotinas de integração e interoperabilidade.
A dificuldade mencionada acima pode ser presenciada em algumas áreas do Complexo HCFMUSP, onde a adoção de soluções externas é comumente empregada. Embora, haja um encantamento natural, por soluções externas, já é provado em literatura, que não existe uma solução considerada “mágica”, na qual somente ela irá resolver todas as questões. Outros aspectos devem ser observados e considerados, pois as mesmas dificuldades encontradas pelos sistemas legados também serão desafios para os sistemas externos. Tais soluções, além de exigirem investimentos altos são, na maioria das vezes, muito complexas, necessitando de várias horas de treinamento, além de uma equipe altamente qualificada para sua parametrização, não costumam ser flexíveis e tendem à inibir qualquer motivação que leve a customizações e adequações. Aliado a todos estes fatores, ainda temos a questão da integração com o legado, demandando esforços dos fornecedores e das equipes internas de TI.
Diante das dificuldades de implementações de iniciativas de integração e interoperabilidade instituicional no HCMFUSP, as soluções implementadas, até então foram baseadas em interoperabilidade funcional,
também conhecida como sintática, onde a interação entre os sistemas é realizada a partir de um conjunto de regras. Segundo Gubiani (2003), em um ambiente de grande heterogeneidade e diversidade de informações, como o HCFMUSP, a solução baseada neste esquema enfrenta grandes dificuldades: a) a começar pela construção do modelo global, pois deve representar o denominador comum de uma enormidade de estruturas heterogêneas; b) a integração destes esquemas é complexa, devido a uma grande quantidade de informações incompletas; c) a necessidade desse modelo acompanhar as constantes mudanças na estrutura, tendo em vista o dinamismo dos sistemas atuais e as constantes mudanças face modernizações do processo.
Considera-se que, em ambientes desta complexidade o enfoque estrutural deve ser substituído pelo enfoque semântico, onde a busca da informação será realizada pelo conhecimento do significado da informação e não por sua estrutura. Na literatura encontramos relatos sobre projetos de interoperabilidade que pregam a utilização da semântica como solução ideal para a troca de informações clínicas entre os sistemas de informação em saúde, como também, a sua adoção na implementação do Prontuário Eletrônico do Paciente (PEP). (GUBIANI, 2003; PIRES e HALAL, 2006)
6 Conclusão
A presente pesquisa teve como principal objetivo analisar a gestão da informação assistencial e utilização de tecnologias de integração e interoperabilidade no tratamento dos dados do Complexo HCFMUSP. Para isto realizou-se um levantamento sobre o histórico do avanço da Tecnologia da Informação (TI) no Complexo HCFMUSP. Descreveu-se o fluxo da consolidação das informações para a composição e disponibilização dos dados assistenciais.
Com base nos resultados apresentados, conclui-se que de alguma forma entre os muitos gigabytes de dados dos Sistemas de Informação, encontram-se armazenados em suas diversas bases de dados, informações sobre o perfil do HCFMUSP e seus respectivos indicadores. Sobretudo, ainda existe um longo caminho a ser percorrido até que esta informação esteja de fato disponível. Portanto, a necessidade da integração dos sistemas corporativos e a adoção de padrões de registro e procedimentos, com o objetivo da consolidação da informação e a disponibilidade da mesma para as demais áreas tornou-se premente nos hospitais, pela crescente complexidade da assistência, das múltiplas formas de seu financiamento e exigências de transparência institucional na atenção aos pacientes.
O estudo mostrou que, não basta resolver as questões somente do ponto de vista tecnológico, o desafio é trabalhar estes problemas considerando toda a sua complexidade e articulando diferentes áreas, em
busca de resultados efetivos. É necessário construir uma permanente articulação, coordenada e apoiada pelos gestores centrais, entre as áreas de Informática, Informação e Assistencial, para a construção de planos de trabalho compartilhados e realistas, com objetivos, metas, cronogramas e responsabilidades.
7 Anexos
7.1 ROTEIRO PARA ENTREVISTA
Instrumento de pesquisa, aplicado aos Institutos do Complexo HCFMUSP
Data da Entrevista Instituto
Nome do Entrevistado Cargo
Este instrumento é parte de um trabalho de Mestrado cujo título é “Sistema
de Informação e Avaliação de Desempenho Hospitalar: A integração e Interoperabilidade entre fonte de dados hospitalares”
O principal objetivo é investigar o grau de complexidade na obtenção de indicadores assistenciais básicos (portaria 312 de 02/05/2002) e conseqüentemente o nível de aderência dos sistemas de informação. Os indicadores a serem estudados não são os únicos necessários ou importantes para a gestão hospitalar, porém são obrigatórios, e o estudo do processo de captura destas informações, ajudará a aprimorar sua extração e contribuirá para uma melhor compreensão dos sistemas de informação implantados no Hospital como um todo.
Questionário
1. Quantos leitos operacionais existem hoje no Instituto?
2. Existe um Setor, do Instituto, responsável pela qualidade do registro da informação? Qual e por quê?
3. Como é feito o Censo Hospitalar no Instituto?
(Descreva a rotina de produção da informação.)
4. Como e para quem são disponibilizas as informações do Censo Hospitalar?
5. Existe documentação sobre os processos que compõem o registro e/ou captura das informações para o Censo Hospitalar?
6. Como é realizada a contagem das variáveis para a composição dos indicadores presentes na portaria 312 ?
7. Como se dá na rotina o processo de Admissão do Paciente?
(Descreva a rotina implantada atualmente no Instituto, e caso haja diferença de rotinas entre pacientes do SUS e de operadoras de plano de Saúde, citá-las)
8. Como se dá na rotina o processo de Alta do Paciente?
(Descreva a rotina implantada atualmente no Instituto, e caso haja diferença de rotinas entre pacientes do SUS e de operadoras de plano de Saúde, citá-las)
9. Qual(is) o(s) sistema(s) de informação utilizado pelo Instituto para o registro e/ou captura das informações do Censo Hospitalar ?
10. Qual o grau de informatização dos dados do prontuário no Instituto? (Caracterize o tipo, a abrangência, a sustentabilidade, etc.)
11. Como são disponibilizadas tais informações pelo sistema de informação local? Existe algum relatório ou depende de intervenções técnicas dos profissionais de TI?
12. Embora o foco principal deste estudo seja a Portaria 312, existem outros indicadores registrados, por vocês, seja para o gerenciamento do serviço ou tomada de decisão?
13. Quais são suas necessidades de informação? Quais as perguntas que vc gostaria de serem respondidas rotineiramente, para aprimorar o sistema de gestão do hospital?
14. Quais as maiores dificuldades com relação aos indicadores assistenciais?
(Descreva o processo de coleta, consolidação e análise destas informações)
8 Referência Bibliográfica
ABRANGE. Revista Medicina Social de Grupo – jan/fev/mar 2007ALMEIDA, Célia M. Reforma do Estado e reforma de sistemas de saúde: experiências internacionais de tendências de mudança. Ciência & Saúde Coletiva 4(2):263-286, 1999. ANS - Caderno de Informação da Saúde Suplementar: beneficiários, operadoras e planos/ Agência Nacional de Saúde Suplementar. – Ano 1 (mar. 2006) –. Dados eletrônicos. - Rio de Janeiro: ANS, 2006
ANS. Resolução Normativa – RN no. 153, de 28 de maio de 2007, publicada na DOU no. 102 em 29 de maio de 2007, Seção 1, página 30.
AZEVEDO, Antonio C – Avaliação de Desempenho do Serviço de Saúde: Rev. Saúde Pública; S. Paulo, 25 : 64-71: 1991
BARRETO JUNIOR, Irineu Francisco e SILVA, Zilda Pereira da. Reforma do Sistema de Saúde e as novas atribuições do gestor estadual. São Paulo Perspec., July/Sept. 2004, vol.18, no.3, p.47-56.
BARRETO, Mauricio L. Papel da Epidemiologia no Desenvolvimento do Sistema Único de Saúde no Brasil: histórico, fundamentos e perspectivas: Rev. Brás. Epidemiologia: Vol 5; supl 1 ; 2002.
Barros, Jacson V , et. al. – Sistema de Dispensação de Medicamentos Excepcionais no Estado de São Paulo – Congresso de Informática em Saúde ; 2006
BITTENCOURT, Sonia Azevedo, Camacho, Luiz Antonio Bastos e Leal, Maria do Carmo O Sistema de Informação Hospitalar e sua aplicação na saúde coletiva. Cad. Saúde Pública, Jan 2006, vol.22, no.1, p.19-30.
BRANCO, Maria Alice Fernandes. Sistemas de informação em saúde no nível local. Cad.
Saúde Pública, Apr./June 1996, vol.12, no.2, p.267-270.
BRASIL, Ministério da Saúde. Norma Operacional Básica (NOB);1996; Publicada no D.O.U.de 6 de novembro de 1996.
BRASIL. Ministério da Saúde. Secretaria de Gestão de Investimentos. O Cartão Nacional da Saúde: instrumento para um novo modelo de atenção – Revista de Saúde Pública; Vol. 34:Num. 5:561-64; Outubro 2000.
BRASIL, Ministério da Saúde. Normas Operacional de Assistência à Saúde (NOAS); 01/2001; Portaria GM nº 95/01, de 26 de janeiro de 2001
BRASIL. Ministério da Saúde. Padronização da Nomenclatura do Censo Hospitalar. Portaria nº 312 de 02 de Maio de 2002. Brasília 2002.
BRASIL. Programa Nacional de Avaliação de Serviço de Saúde – PNASS; Edição 2004/2005; Brasília-DF;2004
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde.Departamento de Atenção Básica. Resumo Executivo - Avaliação para Melhoria da Qualidade : Qualificação da
Estratégia Saúde da Família - Brasília, DF - Julho de 2005
[http://dtr2002.saude.gov.br/proesf/autoavaliacaoesf/Home/pdf/resumo_executivo_site.pdf] BROWNSWORD, L. et. al. Current Perspectives on Interoperability (CMU/SEI-2004-TR- 009). Pittsburgh, PA: Software Engineering Institute, Carnegie Mellon University, 2004. [http://www.sei.cmu.edu/publications/documents/04.reports /04tr009.html]
CAETANO, R. & VIANNA, CMMV. (2001) Avaliação Tecnológica em Saúde: Introdução a alguns conceitos básicos. Texto didático preparado para o Mestrado Profissional em Administração em Saúde, Ministério da Saúde/IMS-UERJ, Disciplina de Gestão
Tecnológica, outubro de 2001. (em avaliação para publicação na revista do NESC/UFRJ). CARVALHO, Gilson. A inconstitucional administração pós-constitucional do SUS através de normas operacionais. Ciênc. saúde coletiva, 2001, vol.6, no.2, p.435-444.
CARVALHO, DM. Grandes sistemas nacionais de informações em saúde: revisão e discussão da situação atual. Informe. Epidemiológico do SUS 1997;5:7-46
CELESTINO, Paulo. Nó de normas. Notícias Hospitalares: gestão de saúde em debate. Out/Nov, 2002, n. 39, ano 4. Disponível em: http://www. noticiashospitalares.com. br/out2002/pgs/capa. htm. Acesso em: 16/05/2007.
COMPUTERWORLD.Regulamentação na área de saúde agita mercado de TI – artigo publicado em 24 de maio de 2006 – Revista Computerworld – acessado no site http:\\www.computerworld.com.br
COSTA, Nilson do Rosário. Inovação Política, Distributivismo e Crise: A Política de Saúde nos Anos 80 e 90. , Dados , 1996, vol.39, no.3.
CUNHA, F. J. A. Pedroza ; SILVA, H. P. . Gestão da Informação no Hospital e a Integração de Sistemas de Informação em saúde: um estudo em hospitais conveniados ao SUS em Salvador-Ba. In: I Congresso de Economia da Saúde da América Latina e Caribe, 2004, Rio de Janeiro. I Congresso de Economia da Saúde da América Latina e Caribe, 2004.
CUNHA, Rosani Evangelista da, “Cartão Nacional de Saúde – os desafios da concepção e implantação de um sistema nacional de captura de informações de atendimento em saúde” – Ciência e Saúde Coletiva, 7(4):869-878,2002
CZAPSKI, Cláudio A. Qualidade em Estabelecimento de Saúde – São Paulo. Editora SENAC : 1999 ( Série apontamentos saúde )
ESCRIVÃO JUNIOR, A. Uso de Indicadores de Saúde na Gestão de Hospitais Públicos da Região Metropolitana de São Paulo – Relatório de Pesquisa FGV-EAESP;9;2004
DATASUS.Comitê Temático Intredisciplinar : Padronização de Registros Clínicos – endereço http://www.datasus.gov.br/prc . Acessado em abril/2008
FARIA, Rogério A. Treinamento avançado em XML. São Paulo – SP. Digerati Books, 2005. FERREIRA, Cláudio Luís Pereira. Maestro: um middleware para suporte a aplicações distribuídas baseadas em componentes de software. 2001. 143 p. (Mestrado) - ESCOLA POLITÉCNICA, Universidade de São Paulo, São Paulo, 2001.
FIALES, V., “Construção de um Serviço de Identificação de Pacientes” – Revista Eletrônica de Iniciação Científica, Ago/2001.
GOMES, R. L. ; HOYOS-RIVERA, G. J. H. ; COURTIAT, J. P. . Um Ambiente para
Integração de Aplicações Colaborativas. In: Simpósio Brasileiro em Sistemas Colaborativos, 2006, Natal. Anais do Simpósio Brasileiro em Sistemas Colaborativos, 2006
GUBIANI, J. S. ; ROCHA, R. P. ; D'ORNELLAS, M. C. . Interoperabilidade Semântica do Prontuário Eletrônico do Paciente . In: Simpósio de Informática da Região Centro do RS, 2003, Santa Maria. II Simpósio de Informática da Região Centro do RS, 2003.
HALAL, Iná S et al – Avaliação da qualidade de assistência primária à saúde em localidade urbana da região sul do Brasil ; Rev. Saúde Pública ; 28 (2): 131-6.1994
HAUX, Reinhold. Health information systems – past, present, future. International Journal of
Medical Informatics (2005)
IOM. Institute of Medicine.The Computer-Based Patient Record: An Essential Technology for Health Care, Revised Edition (Free Executive Summary)
[http://www.nap.edu/catalog/5306.html]
JAANA, Mirou et al. Clinical information technology in hospitals: A comparation between the state of lowa and two provinces in Canada. International Journal of Medical Informatics 74 (2005) 719-731
KLÜCK, Mariza, Gumarães José Ricardo, Ferreira Jair, Prompt Carlos Alberto - A gestão da Qualidade assistencial do Hospital de Porto Alegre: implementação e validação de
indicadores – Revista de Administração em Saúde – RAS vol4 no. 16 – Jul-Set 2002 LENZ, R. KUHN, K.A. Towards a continuous evolution and adaptation of information system in healthcare. International Journal of Medical Informatics 73 (2004) 75-89
LEVCOVITZ, Eduardo, LIMA, Luciana Dias de. MACHADO, Cristiani Vieira. Política de saúde nos anos 90: relações intergovernamentais e o papel das Normas Operacionais Básicas. Ciênc. Saúde Coletiva, 2001, vol.6, no.2, p.269-291.
LEWIS, G., Wrage, L. “Approaches to Constructive Interoperability” Technical Report CMU/SEI-2004-TR-020 Software Engineering Institute, Carnegie Mellon University 59pp., Pittsburgh (USA), Dec. 2004.
http://www.sei.cmu.edu/pub/documents/04.reports/pdf/04tr020.pdf
MACHADO, Sérgio Pinto. Kuchenbecker, Ricardo Desafios e perspectivas futuras dos hospitais universitários no Brasil. Ciênc. saúde coletiva, Ago 2007, vol.12, no.4, p.871-877. MARCONDES, Carlos; Sayão, Luís. Integração e interoperabilidade no acesso a recursos informacionais eletrônicos em C&T: a proposta da Biblioteca Digital Brasileira. Ciência da Informação, Brasília, DF, 30.3, 13 12 2001
MARINHO A, FAÇANHA L O. Programas Sociais: Efetividade,Eficiência e Eficácia como Dimensões Operacionais da Avaliação. Texto para discussão no. 787. IPEA 2001
MASSAD, Eduardo. Marin, Heimar de Fatima. Azevedo Neto, Raymundo Soares de.. Lira, Antonio Carlos Onofre de –“O Prontuário Eletrônico do Paciente na assistência, informação e conhecimento médico” OPAS – 2003
NARDON, F.B., Furuie, S., Tachinardi, U.(2000), “Novas Tecnologias para Construção do Prontuário Eletrônico do Paciente”, Anais do Congresso da Sociedade Brasileira de Informática..
NCS.National Communications System. Telecommunications: Glossary of Telecommunication Terms (Federal Standard 1037C). Arlington, VA: National Communications System, 1996.[http://www.its.bldrdoc.gov/fs-1037/]
NEMA. National Electrical Manufacturers Association.Digital Imaging and Communications in Medicine (DICOM) - PART 1: Introduction & Overview. 2003. Disponível em:
[http://medical.nema.org/dicom/2003.html]
ACR/NEMA Standards Publications; PS 3.1; 1993 NORONHA, José Carvalho de, Soares, Laura Tavares. A política de saúde no Brasil nos anos 90, Ciênc. saúde coletiva , 2001a, vol.6, no.2.
NORONHA, José Carvalho de – Tese de Doutoramento – Utilização de Indicadores de Resultado para a avaliação da qualidade em Hospitais de Agudos: Mortalidade Hospitalar após Cirurgia de Revascularização do Miocárdio em Hospitais Brasileiros - apresentada ao Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro; 2001b.
NOVAES, Hillegonda Maria Dutilh. Pesquisa em, sobre e para os serviços de saúde: panorama internacional e questões para a pesquisa em saúde no Brasil. Cad. Saúde
Pública, 2004, vol.20 supl.2, p.S147-S157.
NOVAES, Hillegonda Maria Dutilh. Avaliação d programas, serviços e tecnologia em saúde.
Rev. Saúde Pública, 2000, 34:54-59.
OPAS. Organização Panamericana de Saúde. A Saúde no Brasil - Representação da OPAS/OMS no Brasil; Brasília novembro de 1998.
OPAS. Organização Panamericana de Saúde . Indicadores básicos de saúde no Brasil: Conceitos e Aplicações / XX Brasília: RIPSA – Rede Interagencial de Informações para a Saúde, 2002. 299p.
PARÉ, Guy. Sicotte, Claude. Information techonology sophistication in health care: as instrument validation study among Canadian hospitals. International Journal of Medical
Informatics 63 (2001) 205-223
PETRY, K. LOPES, P.M.A Padrões para a Interoperabilidade na Saúde. In: X Congresso Brasileiro de Informática em Saúde, 2006, Florianópolis. X Congresso Brasileiro de Informática em Saúde. Florianópolis : CBIS, 2006.
PIRES, D. F. ; HALAH, R. A. ; RUIZ, E. E. S. . Interoperabilidade Semântica na Troca de Informações de Segunda Opinião Diagnóstica. In: X Congresso Brasileiro de Informática em Saúde, 2006, Florianópolis. X Congresso Brasileiro de Informática em Saúde. Florianópolis : CBIS, 2006. v. 1. p. 885-890.
ROONEY, Anne L. et al – Licenciamento, Certificação e Acreditação – Série de Aperfeiçoamento sobre a Metodologia de Garantia de Qualidade : Center for Human Services (CHS), 1999
ROUQUAYROL, Maria Z. ALMEIDA FILHO, Naomar - Epidemiologia & Saúde – 6 ed. – Rio de Janeiro: MEDSI,2003
SCHIESARI, Laura M C, Kisil Marcos ; A avaliação da qualidade nos hospitais brasileiros ; RAS- Vol. 5, no. 18 – Jan-Mar, 2003
SCHOUT, Denise. Novaes, Hillegonda Maria Dutilh Do registro ao indicador: gestão da produção da informação assistencial nos hospitais. Ciênc. saúde coletiva, Ago 2007, vol.12, no.4, p.935-944.
SCHRAMM, Fermin Roland. Escosteguy, Claudia Caminha. Bioética e avaliação tecnológica em saúde. Cad. Saúde Pública, out./dez. 2000, vol.16, no.4, p.951-961.
SHAW, M. “Architectural Issues in Software Reuse: It’s Not Just the Functionality, It’s the Packaging,” 219-221. Proceedings of the IEEE Symposium on Software Reusability, Seattle,WA, April 1995. http://www-2.cs.cmu.edu/~Vit/paper_abstracts/Packaging.html SHMEIL, M. A. H. ; MOURA, Anderson Dutra ; COELHO, Kristy Soraya ; DIAS, João Sa Silva . Aplicação do XML em Sistemas de Informação em Saúde. In: Conferência IADIS Ibero_Americana WWW/ Internet 2005, 2005, Lisboa. Formato Poster, 2005. v. 1. p. n-n. SILVA, L. M. V. , FORMIGLI,V. L. A. Avaliação em Saúde: limites e Perspectivas. Cad. Saúde Públ., Rio de Janeiro, 10(1): 80-91, Jan/Mar, 1994.
SILVA, R. A. B.; NING, C. H. S. Uso da tecnologia XML visando a interoperabilidade em geoprocessamento. In: WORKSHOP DOS CURSOS DE COMPUTAÇÃO APLICADA DO INPE, 1. (WORCAP), 2001, São José dos Campos. Anais. São José dos Campos: INPE, 2001. p. 60 - 62. CD-ROM.
TEIXEIRA, Carmem F. Epidemiologia e Planejamento de Saúde: Ciência & Saúde Coletiva, 4(2):287-303, 1999
VENCINA NETO, Gonzalo and Malik, Ana Maria Tendências na assistência hospitalar. Ciênc. saúde coletiva, Ago 2007, vol.12, no.4, p.825-839
VIACAVA, F. Almeida C. Caetano R, et al. Uma metodologia de avaliação do desempenho do sistema de saúde. C S Col 9(3):711-724;2004.
VIANA, Ana Luiza D'ávila; Dal Poz, Mario Roberto A Reforma do Sistema de Saúde no Brasil e o Programa de Saúde da Família. Physis: Revista de Saúde Coletiva, 2005, vol.15. VIANA, Ana Luiza D'Ávila, HEIMANN, Luiza S., LIMA, Luciana Dias de et al. Mudanças significativas no processo de descentralização do sistema de saúde no Brasil. Cad. Saúde
Pública, 2002, vol.18 suppl, p.S139-S151
WHO – World Health Organization 2000. The World Health Report: Health System: Improving Performance. Genebra.
WYATT, Jeremy C. Wyatt, Sylvia M. When and how to evaluate health information systems?. International Journal of Medical Informatics 69 (2003) 251-259
ZANON, Uriel - Qualidade da assistência médica hospitalar: conceito e avaliação de indicadores. Revista de Administração em Saúde Volume 2 no. 8 Jul-Set, 2000
WIEDERHOLD, G.,A Section on Hospital Information Systems. In: Webster J. Encyclopedia of Medical Devices and Instrumentation. Volume 3. 1988.