Sistema para acolhimento e classificação de risco em obstetrícia: avaliação de qualidade técnica^*

Resumos

Objective:

to assess the technical quality of a decision support system for reception and risk classification in obstetrics.

Method:

a methodological study of assessment of the system. 12 nurses and 11 information technology (IT) professionals were invited to evaluate the Obstetrics Reception and Risk Classification System (Sistema de Acolhimento e Classificação de Risco em Obstetrícia, SACR-O). Based on the standards of the International Organization for Standardization, the minimum number of evaluators and the characteristics to be evaluated were established: functional suitability, reliability, usability, performance efficiency, compatibility, safety, maintainability, and portability. The characteristics assessed should be given a ≥70% positive assessment to be considered suitable.

Results:

the characteristics assessed by the nurses and the IT professionals, respectively, were considered adequate: Functional suitability (97% and 98%), Reliability (91% and 94%), Usability (89% and 93%), Performance efficiency (97% and 98%), Compatibility (93% and 100%), and System security (95% and 97%). Maintainability (87%) and Portability (97%) were also evaluated by IT professionals.

Conclusion:

the technical quality of the SACR-O system was considered excellent by nurses and IT professionals.

Descriptors:
Nursing Informatics; Health Information Systems; Technology Assessment, Biomedical; Emergency Care; Obstetric Nursing; User Embracement

Objetivo:

evaluar la calidad técnica de un sistema de soporte de decisiones para la recepción y clasificación de riesgos en obstetricia.

Método:

estudio metodológico de evaluación del sistema. Fueron invitados a evaluar el Sistema de Recepción y Clasificación de Riesgos en Obstetricia (SACR-O) 12 enfermeros y 11 profesionales de la informática. Con base en las normas de la Organización Internacional de Estandarización, se estableció el número mínimo de evaluadores y las características a evaluar: adecuación funcional, fiabilidad, usabilidad, eficiencia de desempeño, compatibilidad, seguridad, mantenibilidad y portabilidad. Las características evaluadas deberían tener una evaluación positiva ≥70% para considerarse adecuadas.

Resultados:

las características evaluadas por enfermeros y profesionales de la informática, respectivamente, se consideraron adecuadas, a saber: Adecuación funcional (97% y 98%), Fiabilidad (91% y 94%), Usabilidad (89% y 93%), Eficiencia de desempeño (97% y 98%), Compatibilidad (93% y 100%) y Seguridad del sistema (95% y 97%). Por los profesionales de informática también fueron evaluados las características de Mantenibilidad (87%) y Portabilidad (97%).

Conclusión:

la calidad técnica del sistema SACR-O fue considerada excelente por los enfermeros y los profesionales de la informática.

Descriptores:
Informática Aplicada a la Enfermería; Sistemas de Información en Salud; Evaluación de la Tecnología Biomédica; Atención de Emergência; Enfermería Obstétrica; Acogimiento

Introdução

Em 2011 o Ministério da Saúde (MS) lançou o Programa Rede Cegonha, que teve por objetivo proporcionar às mulheres e crianças melhor atenção e qualidade à saúde com destaque às ações de redução da mortalidade materna e infantil, alinhado à Política Nacional de Humanização da Atenção e Gestão do Sistema Único de Saúde. De forma complementar, em 2014, o MS estabeleceu o manual de Acolhimento e Classificação de Risco em Obstetrícia (A&CRO), atualizado em 2017, a todos os serviços de urgência e emergência obstétrica do país^(1-4).

O manual de A&CRO visa oferecer orientações e padronização de condutas aos profissionais da saúde que atuam nos serviços de assistência ao parto, a fim de evitar problemas no atendimento que possam culminar em desfechos desfavoráveis, bem como viabilizar o acesso qualificado e o atendimento com resolutividade em tempo adequado para cada caso⁽⁴⁾.

A classificação de risco em obstetrícia é uma ferramenta de apoio à decisão para identificação imediata da gravidade da gestante, que garante atendimento rápido e seguro de acordo com o potencial de risco e a partir de evidências científicas^(4-6).

O protocolo de A&CRO permite classificar a gestante para o atendimento, conforme o grau de urgência e a partir de um processo de tomada de decisão clínica, no qual se determina o tempo máximo de espera recomendado para receber o atendimento médico. Há cinco níveis de prioridade e cada um corresponde a um tempo máximo de espera para o atendimento médico, a saber: vermelho (atendimento imediato), laranja (até 15 min), amarelo (até 30 min), verde (até 120 min) e azul (não prioritário ou encaminhamento conforme pactuação)⁽⁴⁾.

O protocolo de A&CRO é uma importante base de conhecimento para apoiar as decisões dos profissionais em obstetrícia, bem como gerar impactos positivos no cuidado e na redução de erros. Assim, é de grande importância que instrumentos como o protocolo de A&CRO façam parte da rotina das instituições de saúde e estejam disponíveis para uso em dispositivos eletrônicos, integrado ao prontuário eletrônico do paciente (PEP), como forma de registro para posterior consulta e reavaliação^(7-8).

Na era da informação, alternativas para o registro em saúde têm sido propostas com o intuito de encontrar estratégias para armazenar e qualificar o registro de dados e construir uma assistência à saúde mais segura e de qualidade⁽⁹⁾.

Foco do presente estudo, o Sistema de Acolhimento e Classificação de Risco em Obstetrícia (SACR-O) foi desenvolvido em um hospital universitário do interior do estado de São Paulo como sistema para apoio à decisão, construído com base no manual de A&CRO proposto pelo MS.

O sistema guia o enfermeiro com perguntas estruturadas e valores fixos em suas respostas, baseadas nos sinais e sintomas apresentados pela gestante. Ao término de seu preenchimento, o sistema indica a classificação de risco por cores, conforme proposto pelo MS⁽⁴⁾.

O SACR-O também oferece base de dados de simulação, permitindo treinamento em tempo real para estudantes de graduação, residentes e profissionais das maternidades para ensino ou educação continuada. O sistema é integrado ao PEP, o que favorece a continuidade do cuidado e a segurança da informação.

Considerando a avaliação dos sistemas de informação em saúde, estudo de revisão sistemática mostrou que os melhores métodos são aqueles que seguem os pressupostos da International Organization for Standardization (ISO) e International Electrotechnical Commision (IEC), das séries da Associação Brasileira de Normas Técnicas (ABNT) e da Norma Brasileira (NBR), também com as certificações de sistemas informatizados, que passam por rigorosos testes da Sociedade Brasileira de Informática em Saúde (SBIS) em conjunto com o Conselho Federal de Medicina (CFM)⁽¹⁰⁾.

Frente a essa perspectiva, este estudo tem por objetivo avaliar a qualidade técnica de um sistema de apoio à decisão para acolhimento e classificação de risco em obstetrícia.

Método

Trata-se de um estudo metodológico de avaliação de sistema. Os estudos metodológicos caracterizam-se por desenvolverem, validarem e avaliarem ferramentas e métodos de pesquisa⁽¹¹⁾.

A pesquisa foi conduzida na maternidade de um hospital público do interior do estado de São Paulo. Trata-se de um hospital geral de nível terciário, que possui um sistema de informação hospitalar (MV Sistemas^®) que reúne as informações clínicas e assistenciais de todos os atendimentos.

O SACR-O foi desenvolvido a permitir que a classificação da gestante seja registrada no PEP, com o propósito de manter a segurança e o controle dos dados. Assim, é necessário que o profissional que realiza o atendimento efetue login com usuário e senha no sistema. Ao entrar no sistema este tem acesso às etapas de A&CRO e, para um novo atendimento, pode acessar áreas como: abertura do atendimento, atualização cadastral da gestante, atendimento de profissional especializado, administração de medicamentos, exames laboratoriais e de imagem; até a finalização do atendimento com a alta ou o encaminhamento ao centro obstétrico.

Para participarem da avaliação de qualidade técnica do SACR-O foram convidados profissionais de informática, com formação nas áreas de análise e desenvolvimento de sistemas, assim como enfermeiros e residentes em enfermagem obstétrica da instituição na qual foi conduzido o estudo. Aos enfermeiros e residentes, foi critério de inclusão ter realizado pelo menos uma vez o A&CRO em serviço.

Foram respeitadas as normas ISO/IEC 25040:2011⁽¹²⁾, a qual indica o número mínimo de oito avaliadores, e a ISO/IEC 25010:2011⁽¹³⁾, que propõe a avaliação da qualidade técnica do software por oito características: adequação funcional, confiabilidade, usabilidade, eficiência de desempenho, manutenibilidade, portabilidade, segurança e compatibilidade. Cada característica é composta por subcaracterísticas, totalizando 31 subcaracterísticas. Diante das especificidades técnicas das características de manutenibilidade e portabilidade, estas foram avaliadas somente por profissionais de informática, como apontado na literatura⁽¹⁴⁾.

A qualidade em uso de um software, ou usabilidade, é composta por características e subcaracterísticas relacionadas ao resultado da interação quando um produto é usado em um contexto de uso específico. Esse modelo de sistema é aplicável ao sistema de interação humano-computador, incluindo sistemas de computador em uso e produtos de software em uso. O modelo de qualidade do produto, ou qualidade técnica, é composto por características e subcaracterísticas relacionadas às propriedades estáticas do software e às propriedades dinâmicas do sistema⁽¹³⁾.

O questionário utilizado neste estudo para avaliar a qualidade técnica do sistema foi construído com base em um instrumento proposto em estudo prévio⁽¹⁴⁾.

Os especialistas, profissionais de informática e enfermeiros, acessaram o sistema com orientações sobre o processo de avaliação e receberam manual com informações sobre a estrutura das telas e a especificação detalhada sobre cada item. Foi disponibilizado ambiente de simulação aos especialistas, com usuário de acesso e senha ao sistema e um caso clínico, construído pelos autores do estudo. A avaliação ocorreu individualmente, sem a interferência dos pesquisadores.

Os especialistas avaliaram cada característica e subcaracterística por meio de uma das seguintes opções: de acordo (Nível A); desacordo - Justifique (Nível D); e não se aplica (Nível NA).

O nível A, significa que o sistema atendeu ao requisito; O nível D, que não atendeu por isso necessita de justificativa para melhorias; e o nível NA, corresponde a não conseguiu avaliar ou não é aplicável.

Para a obtenção da somatória dos valores das características e subcaracterísticas os dados foram analisados conforme proposto na norma ISO/IEC 14598-6:2004, por meio da seguinte fórmula:

$\mathrm{Vc}=\frac{\sum \mathrm{Vsc}}{\mathrm{nsc}}\mathrm{Vcs}=\frac{\sum m}{\left(n-\mathrm{nd}\right)}$

Vc = o valor medido da característica

Vsc = o valor medido da subcaracterística

nsc = o número de subcaracterística

m = 1, se a resposta for positiva, senão é 0

nd = o número de questões descartadas

Assim, para obter os valores de suas características e seus percentuais, foi aplicada a seguinte fórmula:

$\mathrm{Vc}=\frac{\sum \mathrm{Vsca}}{\left(a+d\pm \mathrm{na}-\mathrm{na}\right)}\times 100$

Vc = o valor medido da característica

Vsca = o valor da subcaracterística com respostas acordo

a = resposta de acordo

d = resposta desacordo

na = resposta não se aplica⁽¹⁵⁾

Na avaliação dos resultados, foi utilizada escala adaptada com valores esperados para cada característica e subcaracterística; estes deveriam estar acima de 70% para serem considerados satisfatórios⁽¹⁴⁾. As categorias e subcategorias foram avaliadas com o corte para fraco (25%), regular (50%), bom (75%) e excelente (100%)⁽¹⁵⁾.

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Medicina de Botucatu da Universidade Estadual Paulista “Júlio de Mesquita Filho” (UNESP) (CAAE: 83484518.5.0000.5411).

Resultados

Na apresentação dos resultados, optou-se por separar a avaliação dos profissionais de informática e dos enfermeiros, uma vez que a formação desses avaliadores pode levar a critérios diferentes na avaliação, segundo sua formação. A caracterização dos avaliadores é descrita na Tabela 1.

Tabela 1
Caracterização dos avaliadores, profissionais de informática (n=11) e enfermeiros (n=12). Botucatu, SP, Brasil, 2018

Características	Profissionais de informática média (dp)	n (%)	Enfermeiros média (dp)	n (%)
Idade (anos)	40,4 (8,9)		27,9 (8,3)
Atuação profissional (anos)	16,1 (6,9)		4,9 (8,4)
Titulação
- Graduação		3 (27,3)		4 (33,3)
- Especialização		8 (72,7)		8 (66,7)
Tipo de atuação profissional
- Assistência
- Ensino/Pesquisa				11(91,7)
- Analista de Sistemas		9 (81,8)		1(8,3)
- Programador		1 (9,1)
- Gerente de Tecnologia da Informação		1 (9,1)

Em comparação, os enfermeiros apresentavam menor idade e tempo de trabalho. Independentemente da categoria profissional, a maioria dos participantes tinha título de especialista (Tabela 1).

A avaliação das características de qualidade técnica é descrita na Figura 1.

Figura 1
Avaliação das características de qualidade técnica do sistema por profissionais de informática e enfermeiros. Botucatu, SP, Brasil, 2018

Todas as categorias de qualidade técnica avaliadas foram consideradas adequadas, com avaliação superior a 70%.

Quanto à avaliação das subcaracterísticas, ao menos uma em cada característica obteve 100% de adequação. Apenas a subcaracterística acessibilidade, da característica usabilidade, obteve avaliação menor que 70% entre os profissionais de informática (Tabela 2).

Tabela 2
Avaliação das subcaracterísticas do sistema, por profissionais de informática (n=11) e enfermeiros (n=12). Botucatu, SP, Brasil, 2018

Características	Subcaracterísticas	Profissionais de informática %	Enfermeiros %
1. Adequação funcional	1.1 Integridade funcional	100	92
	1.2 Correção funcional	100	100
	1.3 Aptidão funcional	91	100
2. Confiabilidade	2.1 Maturidade	100	86
	2.2 Tolerância a falhas	86	100
	2.3 Recuperabilidade	89	80
	2.4 Disponibilidade	100	100
3. Usabilidade	3.1 Reconhecimento de adequação	95	100
	3.2 Apreensibilidade	100	81
	3.3 Operabilidade	95	74
	3.4 Acessibilidade	40	80
	3.5 Proteção contra erro	100	100
	3.6 Estética de interface	100	96
4. Eficiência e desempenho	4.1 Tempo	95	92
	4.2 Recursos	100	100
	4.3 Capacidade	100	100
5. Compatibilidade	5.1 Interoperabilidade	100	90
	5.2 Coexistência	100	100
6. Segurança	6.1 Confidencialidade	100	100
	6.2 Integridade	93	88
	6.3 Não repúdio	100	92
	6.4 Responsabilização	100	100
	6.5 Autenticação	100	100
7. Manutenibilidade	7.1 Analisabilidade	82	-
	7.2 Modificabilidade	73	-
	7.3 Testabilidade	100	-
	7.4 Modularidade	91	-
	7.5 Reusabilidade	91	-
8. Portabilidade	8.1 Adaptabilidade	91	-
	8.2 Capacidade para ser instalado	100	-
	8.3 Capacidade para substituir	100	-

Discussão

O SACR-O além de organizar o fluxo de atendimento dos serviços de urgência e emergência, favorece que os profissionais respeitem o protocolo de A&CRO do MS⁽⁴⁾, a garantir ético e adequado atendimento às gestantes.

O SACR-O demonstrou índice de adequação satisfatório em todas as características, superior a 87%. As características adequação funcional e eficiência de desempenho obtiveram 97% de aprovação entre os enfermeiros e 98% entre os profissionais de informática. A adequação destas características corresponde à satisfação dos usuários, de forma a atingir os objetivos de uso do sistema com precisão e integridade. A eficiência de desempenho está atrelada ao tempo de resposta do sistema, considerado nesse estudo como satisfatório para ambas as categorias do SACR-O nestes quesitos^(14,16).

A confiabilidade representa o quanto o sistema consegue oferecer o nível de desempenho ao ser exposto por determinado tempo e circunstâncias como, por exemplo, se consegue executar suas tarefas de forma confiável com escassez de recursos. Para os avaliadores, esta característica ficou acima de 90%, o que reflete confiança dos usuários no sistema. Destaca-se que a confiabilidade dos sistemas informatizados tem demonstrado maiores índices quando comparado a sistemas manuais^(9,14).

A característica de usuabilidade tem sido amplamente estudada no âmbito das avaliações dos sistemas de informação em saúde, por avaliar a precisão do sistema e a eficiência aos usuários. Nela são identificadas muitas vezes queixas como lentidão no tempo de resposta do sistema, excesso de informações na tela e alteração do fluxo de trabalho^(17-18).

Quanto à subcaracterística acessibilidade, na avaliação por profissionais de informática, não foi alcançado o valor esperado, sendo considerada como regular. Entretanto, por enfermeiros foi considerada como excelente. A sugestão apontada pelos profissionais de informática à acessibilidade foi inserir um recurso de lupa, para usuários com dificuldade visual.

A avaliação abaixo de valores esperados reflete a necessidade de se reavaliar requisitos do sistema. Devido ao tempo para o desenvolvimento do estudo, não foi possível realizar a reavaliação desta subcaracterística após ajustes. Outros estudos⁽¹⁸⁾ também descrevem resultados com fragilidade na avaliação de acessibilidade, relacionados à resolução e visibilidade da tela. Autores⁽¹⁹⁾ recomendam que para atender pessoas com deficiências, sobretudo visual, os sistemas de informação em saúde devem apresentar telas visualmente claras, com informações organizadas e imagens de fácil visualização.

Ainda quanto à usabilidade, a subcaracterística proteção contra erro obteve adequação de 100% entre enfermeiros e profissionais de informática, o que demonstra que o SACR-O oferece segurança no registro da informação.

Na característica compatibilidade, que contempla as subcaracterísticas interoperabilidade e coexistência, os profissionais de informática avaliaram adequação de 100% em ambas as subcaracterísticas, sendo a única característica com o máximo valor de consenso; enfermeiros indicaram 90% de adequação para interoperabilidade e 100% para coexistência. Esta característica reflete a capacidade de trocar informações com outros sistemas como, por exemplo, a troca de informações com o PEP^(14,17). A interoperabilidade é uma preocupação aos sistemas de informação em saúde, pois a falta de integração entre os sistemas pode comprometer o atendimento ao paciente^(11,14,17).

A característica segurança obteve o critério de excelência em três de suas subcaracterísticas pelos avaliadores. Este quesito é hoje uma das principais características a ser considerada, uma vez que os sistemas de informação em saúde armazenam grande quantidade de informações dos pacientes e são essenciais para um atendimento contínuo. São cruciais métodos de autenticação por meio de login e senha, assim como, a necessidade de sistemas efetivos de backup, pela capacidade de armazenar informações e reutilizá-las em caso de perda ou parada do sistema principal^(20-21).

A característica de manutenibilidade, que tem por objetivo mostrar os esforços necessários para realizar modificações específicas, e a característica portabilidade, que demonstra a capacidade do sistema em ser transferido para outro ambiente operacional, apresentaram índices de adequação correspondente a dados de estudos anteriores, com adequação superior a 70%, considerado satisfatório nesse requisito^(14,22).

Sistemas para classificação de risco em pacientes nos serviços de urgência e emergência hospitalares têm sido amplamente utilizados. O SACR-O, desenvolvido em consonância com o protocolo de A&CRO do MS, mostra-se relevante, pois fortalece políticas do MS, favorece a agilidade dos atendimentos e, consequentemente, a humanização da assistência. Destaca-se que a qualidade técnica adequada dos sistemas de informação em saúde é hoje considerada um fator da segurança do paciente⁽²³⁾.

Considera-se limitação do estudo a não adequação do sistema quanto à subcaracterística de acessibilidade a tempo de ser reavaliado pelos profissionais de informática.

Ressalta-se o limitado número de publicações na temática de avaliação de sistemas de informação em saúde. Estudo de revisão⁽²⁴⁾ demonstrou a necessidade de aprofundamento e divulgação de pesquisas, com destaque ao uso de sistemas de informações em enfermagem.

Destaca-se a importância deste estudo para apoiar a decisão de gestores e desenvolvedores na construção e aquisição de sistemas confiáveis e que melhorem a qualidade da assistência à saúde.

Conclusão

O uso de tecnologias de informação e comunicação para apoio à decisão apresenta potencial para aperfeiçoar e melhorar a assistência à saúde. Este estudo se propôs a avaliar a qualidade técnica do SACR-O e os resultados obtidos mostraram adequação superior a 87% em todas as características avaliadas, obtendo o critério excelente.

Na avaliação do sistema, foram utilizadas as métricas de qualidade de software indicadas pela ISO/IEC, com um conjunto de seis a oito características, composto por subcaracterísticas.

Os resultados alcançados a partir da avaliação indicam que o SACR-O se mostrou adequado em todas as características. Destaca-se que ao menos uma subcaracterística, de cada característica avaliada, alcançou 100% de adequação, a saber: Correção funcional da característica Adequação funcional; Disponibilidade da característica Confiabilidade; Proteção contra erro da característica Usabilidade; Recursos e Capacidade da característica Eficiência e desempenho; Coexistência da característica Compatibilidade; e Confidencialidade, Responsabilização e Autenticação da característica Segurança.

O SACR-O atende ao manual de A&CRO proposto pelo MS, assim mostra potencial e segurança nas informações do acolhimento e classificação de risco das gestantes. Com isso, pode apoiar enfermeiros na tomada de decisão e no fluxo de atendimento.

• *
  Artigo extraído da dissertação de mestrado “Desenvolvimento e avaliação de um sistema de apoio a decisão para acolhimento e classificação de risco em obstetrícia”, apresentada à Universidade Estadual Paulista “Júlio de Mesquita Filho”, Faculdade de Medicina de Botucatu, Botucatu, SP, Brasil.

References

• ¹
  Ministério da Saúde (BR). Portaria Nº 650, de 5 de outubro de 2011. Dispõe sobre os Planos de Ação regional e municipal da Rede Cegonha. [Internet]. Diário Oficial da União 5 out 2011. [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
  » http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
• ²
  Brasil. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Núcleo Técnico da Política Nacional Humanização. HumanizaSUS: documento base para gestores e trabalhadores do SUS. 4a ed. Brasília: Ministério da Saúde; 2010 [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
• ³
  Maia VKV, Lima EFA, Leite FMC, Souza AI, Primo CC. Evaluation of process indicators of the prenatal and birth humanization program and stork network. Rev Fun Care Online. [Internet]. 2017 Oct-Dec [cited Mar 22, 2019];9(4):1055-60. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1 doi: http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
  » http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1» http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
• ⁴
  Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
• ⁵
  Costa RLM, Silva QMF. Implementation of the Reception and Risk Classification Obstetric in a Hospital in Alagoas. Rev Port Saúde Sociedade. [Internet]. 2017 [cited Mar 22, 2019];2(2):461-71. Available from: http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
  » http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
• ⁶
  Oliveira JLC, Gatti APBMS, Bellucci Junior JA, Góes HLF, Matsuda LM. User Embracement with risk classification: perceptions of the service users of an emergency care unit. Texto Contexto Enferm. [Internet]. 2017 [cited Feb 1, 2020];26(1):e0960014. Available from: http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301 doi: http://dx.doi.org/10.1590/0104-07072017000960014
  » http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301» http://dx.doi.org/10.1590/0104-07072017000960014
• ⁷
  Figueiroa MN, Menezes MLN, Monteiro EMLM, de Aquino JM, Mendes NOG, Silva PVT. User embracement and risk classification at obstetric emergency: evaluating operationalization in a maternity hospital school. Esc Anna Nery. [Internet]. 2017 [cited Feb 1, 2020];21(4):1-7. Available from: https://www.redalyc.org/articulo.oa?id=127752022041 doi: http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
  » https://www.redalyc.org/articulo.oa?id=127752022041» http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
• ⁸
  Pegoraro LGO, Gvozd R, Haddad MCFL, Vannuchi MTO, Silva LGC, Rossaneis MA. Validation of instrument to assess software of patients' risk classification. Rev Bras Enferm. [Internet]. 2018 [cited Feb 1, 2020];71(3):975-82. Available from: http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
  » http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
• ⁹
  Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
  » http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
• ¹⁰
  Cintho LMM, Machado RR, Moro CMC. Methods for Evaluation of Information Systems in Healthcare. J Health Inform. [Internet]. 2016 [cited Nov 8, 2018];8(2):41-8. Available from: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259
  » http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259
• ¹¹
  Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.
• ¹²
  International Organization for Standardization. ISO/IEC 25040 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Geneva: ISO; 2011.
• ¹³
  International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.
• ¹⁴
  Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf
• ¹⁵
  Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.
• ¹⁶
  Alves J, Savaris A, Wangenheim CGV, Wangenheim AV. Software Quality Evaluation of the Laboratory Information System Used in the Santa Catarina State Integrated Telemedicine and Telehealth System. In: Proceedings of the Conference: 2016 IEEE 29th International Symposium on Computer-Based Medical Systems (CBMS); 2016 jun; Dublin, Belfast. [Internet] [cited Feb 2, 2020]; 76-81. Available from: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
  » https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
• ¹⁷
  Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337
• ¹⁸
  Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub
  » https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub
• ¹⁹
  Farzandipour M, Riazi H, Jabali M. Proposing electronic health record usability requirements based on enriched ISO 9241 metric usability model. Acta Inform Med. [Internet]. 2018 [cited Feb 2, 2020];26(1):29-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf
• ²⁰
  Sílvia F, Tareco E. Sistemas de informação como indicadores de qualidade na saúde: Uma revisão de níveis de abordagem. RISTI. [Internet]. 2016 [Acesso 02 fev 2020];(19):34-45. Disponível em: http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
  » http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
• ²¹
  Idri A, Bachiri M, Alemán JLF. A framework for evaluating the software product quality of pregnancy monitoring mobile personal health records. J Med Syst. [Internet]. 2016 [cited Nov 10, 2018];40(3): 1-17. Available from: https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
  » https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
• ²²
  Santos RS, Landim LASR, Almeida JLJ, Sato RSP. Mobile app for assessment of eating behavior: development, usability and acceptability. Nutr Bras. [Internet]. 2019 [cited Feb 4, 2020];18(2):102-12. Available from: http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
  » http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
• ²³
  Howe JL, Adams KT, Hettinger AZ, Ratwani RM. Electronic Health Record Usability Issues and Potential Contribution to Patient Harm. JAMA. [Internet]. 2018 [cited Feb 2, 2020];319(12):1276-8. Available from: https://jamanetwork.com/journals/jama/article-abstract/2676098
  » https://jamanetwork.com/journals/jama/article-abstract/2676098
• ²⁴
  Costa C, Linch GFC. The implementation of electronic records related to the nursing process: integrative review. Rev Fun Care Online. [Internet]. 2020 Jan-Dec [cited Feb 2, 2020];12:12-9. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648
  » http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648

Editado por

Editora Associada: Lucila Castanheira Nascimento

Datas de Publicação

• Publicação nesta coleção
  15 Jul 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  27 Mar 2019
• Aceito
  13 Abr 2020