Construcción y validación de una matriz para evaluar la normativa del Sistema Integrado de Salud de las Fronteras^*

Resúmenes

Objetivo:

construir y validar una matriz para evaluar la normativa del Sistema Integrado de Salud de las Fronteras.

Método:

estudio metodológico, compuesto por la construcción de una matriz de evaluación elaborado en tres etapas: elaboración del modelo lógico, que contiene tres componentes: estructura, proceso y resultado, definición de cuestiones evaluativas y validación de aspecto y de contenido de la matriz. Siete jueces realizaron la validación de aspecto y de contenido en forma simultánea. Para la recolección de datos se utilizó un cuestionario online y la técnica Delphi y, para el análisis, el Índice de Validez de Contenido y la Relación de Validez de Contenido.

Resultados:

se sometió la matriz de evaluación con 24 preguntas a dos evaluaciones para su validación de aspecto y de contenido. En la primera, el Índice de Validez de Contenido medio general fue del 99,40% y la Relación de Validez de Contenido fue de 0,90. En la segunda, el Índice de Validez de Contenido fue del 100% y la Relación de Validez de Contenido fue de 1,0; no hubo nuevas propuestas y la matriz quedó constituida por 24 preguntas. Se consideró la matriz inteligible respecto a la validación de aspecto.

Conclusión:

la matriz de evaluación del Sistema Integrado de Salud de las Fronteras se encuentra validada en cuanto a aspecto y contenido para el análisis del desempeño de acciones y políticas públicas en regiones de frontera.

Descriptores:
Estudios de Validación; Evaluación de Programas y Proyectos de Salud; Políticas Públicas de Salud; Sistemas de Salud; Áreas Fronterizas; Salud Fronteriza

Objective:

to build and validate a matrix for normative evaluation of the Integrated Health System of Borders.

Method:

a methodological study, composed by the construction of an evaluation matrix elaborated in three stages: elaboration of the logical model, containing the triad of structure, process and result; definition of evaluative questions and appearance and content validation of the matrix. Appearance and content validation were performed simultaneously by seven judges. For data collection, an online questionnaire and the Delphi technique were used and, for analysis, the Content Validity Index and Content Validity Ratio.

Results:

the evaluation matrix containing 24 questions was submitted to two evaluations for its appearance and content validation. In the first, the overall mean Content Validity Index was 99.40% and the Content Validity Ratio was 0.90. In the second, the Content Validity Index was 100% and the Content Validity Ratio, 1.0; there were no new proposals and the matrix was made up of 24 questions. The matrix was considered intelligible in terms of appearance validation.

Conclusion:

the evaluation matrix of the Integrated Health System of the Borders is validated in terms of appearance and content for analyzing the performance of public actions and policies in border regions.

Descriptors:
Validation Studies; Program Evaluation; Public Health Policy; Health Systems; Border Areas; Border Health

Objetivo:

construir e validar uma matriz para avaliação normativa do Sistema Integrado de Saúde das Fronteiras.

Método:

estudo metodológico, composto pela construção de uma matriz avaliativa elaborado em três etapas: elaboração do modelo lógico, contendo a tríade estrutura, processo e resultado; definição de questões avaliativas e validação aparente e de conteúdo da matriz. A validação aparente e de conteúdo foi realizada simultaneamente por sete juízes. Para a coleta de dados utilizou-se questionário on-line e a técnica Delphi, e para análise, o Índice de Validade de Conteúdo e Razão de Validade de Conteúdo.

Resultados:

a matriz de avaliação contendo 24 questões foi submetida a duas avaliações para a sua validação aparente e de conteúdo. Na primeira, o Índice de Validade de Conteúdo médio geral foi de 99,40% e a Razão de Validade de Conteúdo de 0,90. Na segunda, o Índice de Validade de Conteúdo foi de 100% e a Razão de Validade de Conteúdo de 1.0, não houve novas proposições e a matriz foi constituída de 24 questões. A matriz foi considerada inteligível quanto à validação de aparência.

Conclusão:

a matriz avaliativa do Sistema Integrado de Saúde das Fronteiras encontra-se validada quanto à aparência e conteúdo para análise do desempenho de ações e políticas públicas em regiões de fronteira.

Descritores:
Estudos de Validação; Avaliação de Programas e Projetos de Saúde; Políticas Públicas de Saúde; Sistemas de Saúde; Áreas de Fronteira; Saúde na Fronteira

Introducción

El concepto de fronteras ha sido mejorado con el paso de los años, dejando de ser visto solo como barreras y pasando a ser zonas de contacto y lugares de integración regional⁽¹⁾.

En las fronteras internacionales, entre el espacio local y el internacional, se sitúan los pueblos fronterizos que son las personas que viven, conviven, se relacionan y establecen vínculos. En este contexto se de migración pendular, que consiste en el desplazamiento de las personas de su país de origen hacia el país vecino por trabajo, estudio, u otros motivos⁽²⁾.

La movilidad de personas entre fronteras internacionales es un fenómeno mundial y puede generar divergencias cuando los países presentan desacuerdos económicos, como es el caso de Estados Unidos de América (EE. UU.), que adopta estándares rígidos en la división con México, debido a la búsqueda de los mexicanos por mejores condiciones de vida en EE. UU., además del flujo por drogas ilegales y en virtud del comercio; en contrapartida, este problema no ocurre en la frontera de EE. UU. con Canadá porque los países presentan equivalencia económica⁽³⁾.

En el caso de Brasil, el hecho de poseer un sistema nacional de salud gratuito ha incentivado la migración de personas de otros países latinoamericanos para asistencia médica; este fenómeno ha ocasionado la dificultad de controlar y eliminar enfermedades como la hanseniasis⁽⁴⁾, por ejemplo. La población extranjera excedente no se contabiliza para fines de repaso financiero en los municipios fronterizos⁽⁵⁾.

Las políticas públicas para fronteras e integración transnacional son recientes, antes estaban restrictas a la seguridad y ocupación del territorio, solo en 2005 el Ministerio de Salud (MS) lanzó el Sistema Integrado de Fronteras (SIS Fronteras) con el objetivo de realizar un diagnóstico de la salud local, promover la calificación de los profesionales y mejorar la red de servicios de salud en los municipios fronterizos, con vigencia de 2005 a 2014⁽⁶⁾. Sin embargo, la ejecución del SIS Fronteras no finalizó en 2014; las actividades se extendieron por los años siguientes, según lo planificado por cada municipio para cumplir las metas establecidas.

Se considera que la evaluación de acciones y políticas públicas en regiones de frontera es importante para afrontar los problemas locales, bien como para el desarrollo regional⁽⁶⁾. Este estudio buscó construir y validar una matriz para evaluar la normativa del SIS Fronteras.

Método

Estudio metodológico realizado en región de fronteras y elaborado en tres etapas: elaboración del modelo lógico que contiene estructura, proceso y resultado; definición de preguntas evaluativas; y validación de aspecto y de contenido de la matriz.

Para identificar las lagunas del conocimiento y sondear las investigaciones científicas y legislaciones pertinentes al SIS Fronteras, se realizó una revisión de la literatura del tipo Scoping Review, en cinco etapas: identificar la pregunta de investigación; identificar estudios relevantes; seleccionar estudios; mapear los datos y agrupamiento; resumen y presentación de los resultados⁽⁷⁾. Se incluyeron investigaciones y documentos disponibles hasta el año 2017, en el Medical Literature Analysis and Retrieval System online (MEDLINE/PubMed), Literatura Latinoamericana en Ciencias de Salud (LILACS), SciELO (Scientific Eletronic Library Online), EMBASE, Web of Science, Cummulative Index to Nursing and Allied Health Literature (CINAHL); Portal de Periódicos de la Coordinación de Perfeccionamiento de Personal de Nivel Superior (CAPES); Elsevier's Scopus Database; Sistema de Legislación de Salud del Ministerio de Salud de Brasil; Biblioteca Virtual en Salud del Ministerio de Salud de Brasil; Ministerio de Relaciones Exteriores de Brasil y Google Académico (Google Scholar).

Se utilizaron las siguientes estrategias de búsqueda: ("Sistema Integrado de Salud de las Fronteras" OR "Sistema Integrado de Salud de la Frontera" OR "Sistema Integrado de Salud en las Fronteras" OR "Sistema Integrado de Salud en la Frontera" OR "SIS-Fronteras" OR "SIS-Frontera") OR ("SIS Border" OR "SIS Frontiers" OR "SIS-Borders Project"). Los resultados que se encontraron en la Scoping Review demostraron la inexistencia de una matriz validada para evaluación del SIS Fronteras y permitieron identificar elementos como recursos humanos, financiamiento, condiciones de cooperación y diagnóstico local de salud, entre otros. Los datos se organizaron en estructura, proceso y resultados, y se subsidió la elaboración del modelo lógico, que dirigió la construcción de la matriz evaluativa del SIS Fronteras⁽⁸⁾.

A partir del modelo lógico, se identificaron las preguntas evaluativas que los jueces validaron posteriormente según los criterios de claridad, objetividad y relevancia⁽⁹⁾. La validación del contenido y del aspecto de las preguntas tuvo lugar en el período de noviembre de 2017 a febrero de 2018, por medio de la Técnica Delphi, que se describe a continuación^(10-11).

La población del estudio estuvo conformada por siete jueces expertos en el tema, seleccionados a través de una búsqueda avanzada en el currículo de la Plataforma Lattes, base de datos del Consejo Nacional de Desarrollo Científico (CNPq), quienes participaron de la validación del contenido y aspecto en forma simultánea. Para el sondeo en la plataforma, se optó por el modo de búsqueda por tema y se utilizaron las siguientes palabras clave: SIS Fronteiras (SIS Fronteras), Saúde nas Fronteiras (Salud en las Fronteras) y Fronteira (Frontera), con el operador lógico booleano "AND" entre las palabras. Se permitió a los investigadores contratados indicar otros investigadores para sustituirlos si fuese necesario o para ampliar el número de participantes.

Los criterios de inclusión fueron los siguientes: ser docente, investigador o profesional con conocimiento referente al SIS Fronteras; tener nivel superior completo y contar con un correo electrónico activo. Se excluyó a los participantes con respuestas de correo automáticas, informando imposibilidad de contestar debido a vacaciones, licencia u otros motivos y a los que enviaron cuestionarios pasado el plazo de 15 días contados a partir de la recepción.

El contacto previo para selección de los jueces se estableció por correo electrónico para invitarlos a participar de la investigación. En este contacto se presentó el objetivo, el método y la justificación del estudio y se explicó que la participación se daría en forma individual y remota, por medio de un cuestionario online, formulario electrónico (aplicación Google Formularios), contemplando en forma simultánea la validación del contenido y del aspecto. Después de que cada juez aceptó participar, se les envió un correo electrónico con el enlace para acceder al cuestionario online y el Consentimiento Informado, que cada participante firmó y entregó.

El cuestionario elaborado con 24 preguntas evaluativas, ocho de dimensión estructura, ocho de proceso y ocho de resultado, se sometió posteriormente a validación de contenido y aspecto por parte de los jueces.

Para evaluar las preguntas, se empleó una escala tipo Likert de cinco puntos, 1 (totalmente en desacuerdo), 2 (parcialmente en desacuerdo), 3 (ni de acuerdo ni en desacuerdo), 4 (parcialmente de acuerdo) y 5 (totalmente de acuerdo). Se permitió a los jueces hacer sugerencias de textos alternativos en cada pregunta. El plazo para devolver la matriz evaluativa fue de 15 días a partir de la recepción⁽¹⁰⁾.

Se consideró un porcentaje del 75% de concordancia para cada ítem evaluado; en el caso de no obtener el grado de concordancia entre los jueces, se deberían realizar nuevos ciclos⁽¹¹⁾. Al final, se envió un correo electrónico de agradecimiento a los participantes por colaborar en la investigación.

Se validó el contenido con vistas a analizar el carácter de completo de los ítems propuestos y si reflejaban el referencial teórico y las directrices del SIS Fronteras - además de la validación de aspecto, ya que, a pesar de no ser una técnica sofisticada, tuvo como propósito observar la forma como se presentó el contenido, la claridad y la facilidad en la lectura y la adecuación del ítem en cada dimensión^(9,12).

Para el análisis de los datos se utilizó el Índice de Validez de Contenido (IVC) para medir el grado de concordancia entre los jueces a partir de sus respuestas. El nivel de consenso esperado para este estudio fue del 75%⁽¹¹⁾.

El IVC se calculó a partir de la suma de las respuestas 4 y 5 (parcialmente de acuerdo y totalmente de acuerdo) de cada juez en cada pregunta del cuestionario, dividiendo esta suma por la cantidad total de respuestas (IVC=Cantidad de respuestas 4 y 5/Cantidad total de respuestas X 100). También se calculó el IVC medio de las dimensiones, sumando cada porcentaje obtenido en cada dimensión y dividiendo por tres, es decir, por las tres dimensiones utilizadas.

También se utilizó la Relación de Validez de contenido (CVR - Content Validity Ratio)⁽¹³⁾. El IVC mide la proporción de jueces con respuestas 4 y 5 (parcialmente de acuerdo y totalmente de acuerdo) y la CVR compara esa proporción con el número esperado si los jueces estuvieran respondiendo al acaso [CVR=ne-(N/2)/(N/2)], donde "ne" es la cantidad de jueces que clasificaron cada ítem como 4 y 5, mientras que "N" es la cantidad total de jueces que responden.

El IVC varía entre 0 y 1: cuanto más cerca de 1, mejor será el desempeño del ítem según los jueces. La CVR varía entre -1 y 1, el valor mínimo depende de la cantidad de jueces. En este estudio, se consideró como 0,99⁽¹³⁾.

Se realizó la validación de aspecto considerando el requisito de claridad del contenido y la semántica de las preguntas; de este modo, se verificó si todos los ítems eran comprensibles para la población que respondía; cada pregunta tenía un espacio para manifestarse en forma descriptiva⁽¹⁴⁾.

El Comité de Ética en Investigación con Seres Humanos aprobó el proyecto, CAAE: 68748617.3.0000.5393.

Resultados

En el modelo lógico, se consideraron los elementos necesarios para el desarrollo del SIS Fronteras, tales como: estructurales - recursos financieros (valores repasados); infraestructura administrativa (sala para coordinación); infraestructura para atención de urgencias, ambulatoria y nuevos servicios (sala, equipos y materiales); infraestructura para calificación profesional (computadoras, material bibliográfico) y recursos humanos (personal destinado y/o contratado); proceso - las acciones operacionales para aprobar y mantener del programa como, por ejemplo: formalización de las Condiciones de Adhesión al SIS Fronteras; descripción de los clientes considerando flujos de asistencia y perfil de los usuarios; comisión local de salud; plan operativo; plan municipal de salud e informes. Se consideró como resultados el conocimiento de las realidades de frontera; los profesionales calificados; la atención brindada a la población y la integración entre los servicios. Después de elaborar el diseño evaluativo, basado en la literatura científica y en las normativas, se definió como impacto esperado la atención calificada a la población de frontera (Figura 1).

Figura 1
Modelo Lógico del Sistema Integrado de Salud de las Fronteras. Ribeirão Preto, SP, Brasil, 2018

Con base en el modelo lógico (Figura 1), se identificaron inicialmente 24 preguntas evaluativas, ocho de la dimensión estructura, ocho de proceso y ocho de resultado; posteriormente, los jueces validaron su contenido y aspecto.

En la etapa de validación se identificó en una selección previa, por las palabras clave, a 18 investigadores. Después de aplicar los demás criterios de inclusión y exclusión, quedaron diez seleccionados; de ellos, tres contribuyeron a la realización de la prueba piloto de la matriz de evaluación y siete jueces participaron efectivamente del proceso de validación - cinco del sexo femenino y dos del sexo masculino. Respecto al área de formación: tres eran de Enfermería, uno de Biomedicina, uno de Odontología, uno de Psicología y uno de Derecho; de ellos, dos eran Doctores y cinco, Magísteres.

Se sometió la matriz de evaluación a dos rondas en el proceso de validación. En la primera ronda, en las dimensiones estructura y proceso el IVC promedio fue del 100% y la CVR de 1,0, mientras que en la dimensión resultado el IVC medio fue del 98,21% y la CVR de 0,96. A pesar de haber logrado consenso en la primera ronda, se inició una segunda ronda con el fin de presentar la nueva versión, constando las sugerencias de los jueces y la justificación para las no modificaciones. En la segunda ronda, no hubo nuevas propuestas y el IVC para cada una de las dimensiones fue del 100%, con una CVR de 1,0.

El IVC medio general de la matriz evaluativa, considerando las tres dimensiones (estructura, proceso y resultado), fue del 99,40% y la CVR fue de 0,90. En la segunda ronda, no hubo nuevas propuestas; por lo tanto, se obtuvo 100 % de concordancia y una CVR de 1,0.

En lo que se refiere a la validación de aspecto, los jueces presentaron dos propuestas para la dimensión estructura; dos sugerencias para proceso y una recomendación para la dimensión resultado. Se analizaron las sugerencias y se las aceptó con las adecuaciones necesarias, según se indica en la Figura 2.

Figura 2
Demostrativos de las sugerencias presentadas en la validación de aspecto y los respectivos cambios o justificaciones para las no modificaciones. Ribeirão Preto, SP, Brasil, 2018

Rondas	Sugerencias y cambios o justificaciones
	Estructura
1º	Aquí, en la pregunta 5, que hace referencia a "sala, equipos y materiales para la primera atención a urgencias para el 100% de la población descrita, contemplando", faltó decir dónde está descrita y qué debería estar contemplado.
2º	Se revisó la pregunta y se incluyó información referente a los documentos que deberían constar la descripción de la población y se excluyó la palabra "contemplando", pues ya consta que eran equipos y materiales.
1º	En la pregunta 5, se incluye la palabra urgencias; pienso que no es necesario, porque ya dice que es para la primera atención.
2º	En este caso, se mantuvo la palabra urgencia para dejar en claro al lector, pues la atención pactada era para la primera atención de los casos de urgencia.
	Proceso
1º	En la pregunta 10, sobre el municipio para elaborar la descripción de los clientes, en el plazo de hasta 30 días a partir de las Condiciones de Adhesión, sugiero ampliar el plazo a entre 30 y 40 días.
2º	No se modificó el ítem, considerando que el plazo de hasta 30 días se estableció con base en la Ordenanza 1.189, del 5 de junio de 2006.
	Proceso
1º	En la pregunta 15, que trata la inserción del SIS Fronteras en el Plan Municipal de Salud, es necesario aclarar a qué período hace referencia, porque desde la implementación del SIS Fronteras, en 2006, ya son como mínimo cuatro planes elaborados en este período; por eso, sugiero constar que son en los Planes Municipales de Salud.
2º	Se acepta la sugerencia, se modifica el texto a: "En los Planes Municipales de salud, elaborados durante la vigencia y ejecución del SIS Fronteras, constan el Diagnóstico Local y el Plan Operativo"
	Resultados
1º	En la pregunta 23, consta el plan de contingencia para eventos inusitados, pero no eran exclusivos del SIS Fronteras, pienso que se podrían retirar.
2º	El plan de contingencia para eventos inusitados es una exigencia para que se liberen los recursos financieros del SIS Fronteras: por lo tanto, se mantuvo.

Después de las adecuaciones necesarias y de concluirse el proceso de validación, la matriz para evaluar la normativa del SIS Fronteras quedó constituida por 24 preguntas evaluativas, según la Figura 3, a continuación.

Figura 3
Demostrativo de las preguntas referentes a la matriz evaluativa del SIS Fronteras. Ribeirão Preto, SP, Brasil, 2018

Estructura
1. El Ministerio de Salud destinó recursos financieros para el desarrollo del SIS Fronteras.
2. El municipio proveyó una sala para la coordinación del proyecto con 1 computadora; 1 impresora; 1 nobreak; 1 mesa; 1 silla para encargado de ingresar datos y 1 armario.
3. El municipio proporcionó infraestructura para la implementación de redes de salud, contemplando lo siguiente: computadoras; sistemas de información; puntos de atención primaria y terciaria para apoyo a la atención primaria de salud con acciones especializadas a nivel ambulatorio, hospitalario, apoyo diagnóstico y terapéutico, sala para reuniones y coche para desplazamiento.
4. El municipio proveyó consultorios equipados con equipos, mobiliarios y materiales para atención ambulatoria básica.
5. El municipio proveyó sala, equipos y materiales para la primera atención a las urgencias para el 100% de la población descrita en las Condiciones de Adhesión y Plan Operativo del SIS Fronteras.
6. Infraestructura, provista por el municipio, para nuevos servicios propuestos en el Diagnóstico Local de Salud, pudiendo incluir construcciones; reformas; adquisición de equipos; adquisición de vehículos; materiales de consumo, etc.
7. Infraestructura, provista por el municipio, para calificación, contemplando lo siguiente: Espacio físico (salas disponibles para la calificación); Computadoras y Material bibliográfico.
8. Personal destinado y/o contratado por el municipio para las actividades inherentes al SIS Fronteras, con la posibilidad de contratar profesionales y el pago de encargos cuando estuviese previsto en el Plan Operativo.
Proceso
9. El municipio formalizó un convenio con el Ministerio de Salud, a través de un contrato denominado Condiciones de Adhesión al Sistema Integrado de Salud de las Fronteras, SIS Fronteras, dentro del plazo establecido (abril de 2006).
10. El municipio elaboró y presentó la descripción de los clientes en el plazo de hasta 30 días a partir de la firma del gestor en las Condiciones de Adhesión al SIS Fronteras.
11. El municipio constituyó la Comisión Local de Salud en forma integrada con el Consejo Municipal de Salud y con la participación de representantes de los sistemas de salud de los dos lados de la frontera, en el plazo de 30 días a partir de la firma del gestor en las Condiciones de Adhesión al SIS Fronteras.
12. El municipio presentó el Plan Operativo en el plazo de 60 meses a partir de la firma del gestor en las Condiciones de Adhesión al SIS Fronteras.
13. El Consejo Municipal de Salud aprobó el Diagnóstico Local de Salud y el Plan Operativo.
14. La Comisión Intergestores Bipartita Estatal aprobó el Diagnóstico Local de Salud y el Plan Operativo.
15. En los Planes Municipales de Salud elaborados durante la vigencia y ejecución del SIS Fronteras, constan el Diagnóstico Local de Salud y el Plan Operativo.
16. Se enviaron los informes referentes a las Fases del SIS Fronteras.
Resultados
17. Diagnóstico Local de Salud completo, con aspectos cualitativos y cuantitativos, con la identificación de la población a ser atendida en los servicios de salud; el sondeo de las demandas existentes; la capacidad instalada; la descripción de los flujos asistenciales; la definición del perfil epidemiológico, sanitario y ambiental en salud.
18. Profesionales calificados respecto a gestión (economía, planificación, organización de los sistemas de salud y gestión de salud suplementar), atención a la salud (protocolos y procedimientos específicos de fronteras), vigilancia en salud, salud del indígena, sistemas de información y control social.
19. Redes de salud implementadas, respetando los límites financieros.
20. Nuevos servicios implementados según demandas sondeadas en el Diagnóstico Local de Salud.
21. Atención ambulatoria básica disponible para el 100% de la población descrita en el Diagnóstico Local de Salud y Plan Operativo.
22. Atención de urgencia disponible para el 100% de la población descrita en el Diagnóstico Local de Salud y Plan Operativo.
23. El municipio presentó el Plan de Contingencia para Eventos Inusitados.
24. Se ejecutaron las acciones enumeradas por el gestor en el Diagnóstico Local de Salud y Plan Operativo.

Para la matriz evaluativa también se elaboró y validó una escala tipo Likert, adaptada a cada pregunta, donde 0 corresponde al no cumplimiento de las directrices (el gestor no realizó ninguna acción y/o no presentó ningún documento); 1 a directrices parcialmente cumplidas (gestor realizó apenas algunas acciones y/o presentó parte de los documentos); 2 a directrices cumplidas en forma inadecuada (el gestor realizó las acciones y presentó todos los documentos, pero cumplió parte de ellos en forma inadecuada); y 3 a cumplimiento integral de las directrices del SIS Fronteras (el gestor desarrolló todas las acciones y entregó todos los documentos exigidos).

Discusión

El análisis de documentos y artículos científicos a través de la Scoping Review proporcionó información consistente para elaborar el modelo lógico, el cual sirvió de apoyo para la construcción de las preguntas que formaron la matriz evaluativa del SIS Fronteras. La construcción del modelo lógico es una etapa muy importante en la evaluación de programas y/o políticas públicas, porque se constituye en la representación de su funcionamiento y favorece a la comprensión de sus proyectos y acciones; su aplicabilidad ha sido utilizada en la evaluación de importantes programas tales como Más Médicos y Control de la Hanseniasis^(15-16).

La matriz construida y validada en este estudio obtuvo evaluación positiva, con un IVC medio general para las tres dimensiones estructura, proceso y resultados del 100% y una CVR de 1,0; por lo tanto, se considera adecuado y superior al corte del 75% establecido. En la literatura, el punto de corte para obtener consenso entre jueces oscila entre 50% y 80% para las investigaciones en enfermería, se ha sido considerado el percentil superior al 75%⁽¹¹⁾.

En la validación de aspecto, se consideró la matriz inteligible después de las adecuaciones sugeridas por los jueces. Las principales recomendaciones presentadas estuvieron relacionadas con la claridad del contenido y con la semántica de las preguntas. Diversos estudios apuntan a la importancia de la evaluación semántica, pues en este momento los jueces se certifican que los ítems estén escritos en forma clara y comprensible para la población destino, a fin de evitar ambigüedades y de asegurar la validez aparente^(14,17).

En la matriz validada se trataron aspectos de estructura, proceso y resultado; y permitirá que gestores, investigadores y profesionales de salud tengan conocimiento del proceso de implementación del SIS Fronteras en cada localidad, permitiendo así identificar las potencialidades y debilidades de esta política pública de salud.

En la dimensión estructura, en la primera ronda el IVC fue del 99,40% y la CVR fue de 0,90 y en la segunda ronda no hubo nuevas propuestas; por lo tanto, se obtuvo 100% de concordancia y una CVR de 1,0. En esta dimensión se contemplaron puntos importantes para el desarrollo del SIS Fronteras, como infraestructura, recursos financieros, humanos y materiales. Los elementos estructurales incluidos en la matriz de evaluación convergen con estudios nacionales que señalan que recursos financieros insuficientes, déficit de funcionarios y estructura física precaria son problemas que enfrentan los gestores de municipios de frontera. Eso se debe a la asimetría de los sistemas de salud de los países que tienen frontera con Brasil y a la demanda de extranjeros para atención en salud; y el SIS Fronteras, a través del repaso financiero, fue una estrategia crucial para mejorar la situación en estas localidades⁽¹⁸⁾.

La realidad brasileña se asemeja a la de regiones de frontera de otros países del mundo, como es el caso de San Diego - EE. UU. y Tijuana - México, donde también se registran diferencias en lo que se refiere a aspectos como idioma, cultura y economía, y millones de personas cruzan al otro lado a diario, especialmente mexicanos que van a trabajar. En los últimos años, en San Diego - Tijuana, diversas organizaciones públicas y privadas sin fines de lucros han promovido proyectos de infraestructura y económicos para ampliar las relaciones económicas, sociales y políticas fronterizas⁽¹⁹⁾.

En la dimensión proceso, se obtuvo en la primera ronda un IVC del 99,40% y una CVR de 0,90 y en la segunda ronda no hubo nuevas propuestas, resultando en un 100% de concordancia y en una CVR de 1,0. En las propuestas, los jueces validaron que la matriz evaluativa debería contemplar de modo general aspectos referentes a la operacionalización de las acciones desarrolladas o planificadas y la integración entre los países vecinos a Brasil, previstas en el SIS Fronteras.

Los elementos enumerados por los jueces para la dimensión proceso del SIS Fronteras se asemejan a un estudio sobre cooperación transfronteriza en las fronteras de UE-Rusia, donde se analizó el programa transfronterizo considerando la coordinación gubernamental en varios niveles, con el propósito de implementar políticas con beneficios mutuos; convenios, creación de órganos conjuntos de gestión de programas; desarrollo de políticas uniformes y fuentes conjuntas de financiamiento para proyectos⁽²⁰⁾.

Para la dimensión resultado el IVC medio fue del 98,21% y la CVR de 0,96 y en la segunda ronda se obtuvo un IVC del 100% y una CVR de 1,0; y los ítems validados por los jueces hacen referencia a la identificación del cumplimiento de las metas previstas y de los servicios implementados. La principal meta prevista en el SIS Fronteras es elaborar el Diagnóstico Local de Salud, pues permite el análisis detallado de la población atendida en las regiones de fronteras, especialmente la demanda relacionada con la movilidad de pacientes oriundos de países vecinos para atención en salud.

La movilidad de pacientes hacia otros países con el fin de tratamiento de salud, aunque siempre haya existido, presentó un aumento considerable en la última década debido a la mayor integración comercial entre diversos países del mundo. Pero las causas principales por las que los pacientes cruzan las fronteras para atención en salud son la dificultad de acceso o la ausencia de servicios necesarios en sus países de origen⁽²¹⁾.

Además de los pacientes transfronterizos que se movilizan para recibir atención en salud y regresan a sus países, Brasil, en este siglo, ha vivenciado un aumento considerable en la cantidad de inmigrantes que han venido de varios países. Esa inmigración es motivada principalmente por cuestiones económicas, políticas y ambientales. Recientemente, se evidenció el caso de los venezolanos, que están cruzando las fronteras del norte de Brasil para huir de la grave crisis económica y política en Venezuela⁽²²⁾.

Un estudio desarrollado en Costa Rica identificó que el país también vive una elevada demanda de extranjeros y de personas en tránsito transfronterizo y, frente a esa situación, adoptó la estrategia para implementar casas de recepción, con el propósito de ayuda humanitaria y de identificar a esa población inmigrante⁽²³⁾.

Desde esta perspectiva, en Brasil el diagnóstico local de salud del SIS Fronteras fue señalado por los jueces, en este estudio, como un importante requisito evaluativo de esta política pública y representó una acción relevante para identificar a la población extranjera.

Estos aspectos corroboran un estudio nacional que considera que en Brasil no hay disponibilidad de datos precisos relacionados con la atención en las regiones de fronteras, y que muchas veces esa información es camuflada y/u omitida por los pacientes para lograr acceder a los servicios del Sistema Único de Salud⁽²⁴⁾.

La técnica Delphi se presenta como una estrategia importante para obtener consenso entre los jueces y para dirigir los ajustes necesarios respecto al contenido y al aspecto de algunas preguntas de la matriz evaluativa. La satisfacción y el reconocimiento de la relevancia de la Técnica Delphi para este estudio corroboran otras investigaciones desarrolladas con el uso de este método, realizadas a través del consenso de expertos⁽²⁵⁾.

Otra potencialidad de la técnica Delphi en este estudio fue la utilización de Google Formularios, actualmente la tecnología online que está ganando destaque en investigaciones científicas, por la facilidad en contactar personas sin necesidad de desplazamiento y con menor costo. En este sentido, diversas investigaciones desarrolladas sobre la técnica Delphi apuntan a que una de sus ventajas está en la posibilidad de no ser presencial, pues agrega riqueza al estudio con la participación de especialistas en temáticas específicas de diferentes localidades geográficas^(26-27).

A pesar de las innúmeras ventajas percibidas en el uso del método, identificamos algunas limitaciones, como tardanza en la aceptación y dificultad en explicar la relevancia del estudio, sin contacto físico con el participante. Otra limitación observada en el presente estudio hace referencia al hecho de que Brasil presenta una amplia extensión territorial, con especificidades en las diferentes regiones, pudiendo, por lo tanto, haber dificultad en la aplicabilidad de la matriz en todo el territorio nacional.

Los estudios metodológicos son vistos con gran relevancia por la comunidad científica. Así, este estudio, a través del modelo lógico y de la matriz de evaluación, tiene como fortaleza la disponibilidad de una herramienta que permitirá evaluar el SIS Fronteras y así poder contribuir a la formulación de nuevas políticas públicas de salud destinadas a regiones de fronteras internacionales.

Conclusión

La matriz de evaluación normativa del SIS Fronteras, elaborada y validada en este estudio, se mostró como una herramienta innovadora en la evaluación de políticas públicas de salud en regiones de fronteras internacionales.

La validez de contenido y de aspecto de la matriz se consideró adecuada, considerando el proceso criterioso de análisis de sus ítems y las sugerencias para perfeccionarlo, asegurando así que las preguntas evaluativas y la estructura se sitúen dentro de las directrices del SIS Fronteras y en conformidad con el abordaje teórico de evaluación.

Se destaca la necesidad de ampliar investigaciones relacionadas con las cuestiones de salud en las regiones fronterizas, bien como elaborar nuevas herramientas para evaluar esas realidades tan específicas.

• *
  Artículo parte de la tesis de doctorado “Sistema Integrado de Salud en las Fronteras entre Brasil y Paraguay, en el Estado de Paraná: un estudio evaluativo”, presentada en la Universidade de São Paulo, Escola de Enfermagem de Ribeirão Preto, Centro Colaborador de la OPS/OMS para el Desarrollo de la Investigación en Enfermería, Ribeirão Preto, SP, Brasil. Apoyo financiero de la Fundação Araucária, Convocatoria Pública Nº 16/2017, Protocolo Nº 49036, Brasil.

References

• ¹
  Mathon D, Apparicio P, Lachapelle U. Cross-border spatial accessibility of health care in the North-East Department of Haiti. Int J Health Geogr. 2018;17:36. doi: https://doi.org/10.1186/s12942-018-0156-6
  » https://doi.org/10.1186/s12942-018-0156-6
• ²
  Zaslavsky R, Goulart BNG. Pendulum migration and healthcare in border area. Ciend Saúde Coletiva. 2017;22(12):3981-6. doi: http://dx.doi.org/10.1590/1413-812320172212.03522016
  » http://dx.doi.org/10.1590/1413-812320172212.03522016
• ³
  Carter, DB, Poast P. Why Do States Build Walls? Political Economy, Security, and Border Stability. J Conflict Resolut. 2017;61(2):239-70. doi: https://doi.org/10.1177/0022002715596776
  » https://doi.org/10.1177/0022002715596776
• ⁴
  Assis IS, Arcoverde MAM, Ramos ACV, Alves LS, Berra TZ, Arroyo LH, et al. Social determinants, their relationship with leprosy risk and temporal trends in a triborder region in Latin America. PLOS Negl Trop Dis. 2018;April 6. doi: https://doi.org/10.1371/journal.pntd.0006697
  » https://doi.org/10.1371/journal.pntd.0006697
• ⁵
  Nascimento A. As armas dos fracos: estratégias, táticas e repercussões identitárias na dinâmica do acesso à saúde na fronteira Brasil/Paraguai. Horiz Antropol. 2018;24(50):181-214. doi: https://doi.org/10.1590/s0104-71832018000100007
  » https://doi.org/10.1590/s0104-71832018000100007
• ⁶
  Kruger C, Dantas MK, Castro JM, Passador CS, Caldana ACF. Analysis of public policies for developing the Brazilian border strip. Ambient Soc. 2017;20(4):39-60. doi: http://dx.doi.org/10.1590/1809-4422asoc0005r1v2042017
  » http://dx.doi.org/10.1590/1809-4422asoc0005r1v2042017
• ⁷
  Levac D, Colquhoun H, O'Brien KK. Scoping studies: advancing the methodology. Implement Sci. 2010;5(69):1-9.
• ⁸
  Donabedian A. The definition of quality and approaches to its assessment. Chicago: Health Adminstration Press; 1980.
• ⁹
  Pasquali L. Teoria dos testes na psicologia e na educação. Petrópolis: Vozes; 2003.
• ¹⁰
  Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflections on the use of Delphi technique in research in nursing. Rev Rene. 2012;13(1):242-51.
• ¹¹
  Pereira RDM, Alvim, NAT. Delphi technique in dialogue with nurses on acupuncture as a proposed nursing intervention. Esc Anna Nery. 2015;19(1):174-80. doi: https://doi.org/10.5935/1414-8145.20150024
  » https://doi.org/10.5935/1414-8145.20150024
• ¹²
  Martins GA. Sobre confiabilidade e validade. Rev Bras Gestão Negócios. 2006;8(20):1-12.
• ¹³
  Tristán-López A. Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un instrumento objetivo. Av Medición. 2008;6:37-48.
• ¹⁴
  Fuzissaki MA, Santos CB, Almeida AM, Gozzo TO, Clapis MJ. Validação semântica de instrumento para identificação da prática de enfermeiros no manejo das radiodermatites. Rev Eletr Enferm. 2016;18. doi: https://doi.org/10.5216/ree.v18.35164
  » https://doi.org/10.5216/ree.v18.35164
• ¹⁵
  Emerich TB, Cavaca AG, Santos Neto ET, Oliveira AE, Siqueira CE. Implementation of the More Doctors Program in Espírito Santo State, Brazil: logic model and proposed indicators. Cad Saúde Pública. 2020;36(6). doi: https://doi.org/10.1590/0102-311X00043219
  » https://doi.org/10.1590/0102-311X00043219
• ¹⁶
  Souza MF, Vanderlei LCM, Frias PG. Assessment of the implementation of the Leprosy Control Program in Camaragibe, Pernambuco State, Brazil. Epidemiol Serv Saude. 2017;26(4):817-34. doi: 10.5123/S1679-49742017000400013
  » https://doi.org/10.5123/S1679-49742017000400013
• ¹⁷
  Freitas RF, Waecheter HN, Coutinho SG, Gubert FA. Semantic aspects validation in guidelines for the elaboration of Printed Educational Materials for Health Promotion: contribution of Information Design. Braz J Information Design. 2020;17(1):152-69.
• ¹⁸
  Hortelan MS, Almdeida ML, Fumincelli L, Zilly A, Nihei OK, Peres AM, et al. The role of public health managers in a border region: a scoping review. Acta Paul Enferm. 2019;32(2):229-36. doi: https://doi.org/10.1590/1982-0194201900031
  » https://doi.org/10.1590/1982-0194201900031
• ¹⁹
  Mendonza JE, Dupeyron B. Economic integration, emerging fields and cross-border governance: the case of San Diego - Tijuana. J Borderl Stud. 2017;25(5):59-88. doi: https://doi.org/10.1080/08865655.2017.1367711
  » https://doi.org/10.1080/08865655.2017.1367711
• ²⁰
  Sebentsov AB. Cross-border cooperation on the EU-Russian borders: results of the program approach. Geogr Environ Sustain. 2020;13(8):74-83. doi: https://doi.org/10.24057/2071-9388-2019-136
  » https://doi.org/10.24057/2071-9388-2019-136
• ²¹
  Durham J, Blondell SJ. A realist synthesis of cross-border patient movement from low and middle income countries to similar or higher income countries. Global Health. 2017;13(68):1-14. doi: https://doi.org/10.1186/s12992-017-0287-8
  » https://doi.org/10.1186/s12992-017-0287-8
• ²²
  Martin D, Goldberg A, Silveira C. Immigration, refuge and health: sociocultural analysis in perspective. Saúde Soc. 2018;27(1):26-36. doi: https://doi.org/10.1590/s0104-12902018170870
  » https://doi.org/10.1590/s0104-12902018170870
• ²³
  Winters N, Izaguirre CM. Es cosa suya: entanglements of border externalization and African transit migration in northern Costa Rica. Comparative Migr Sud. 2019;7:23. doi: https://doi.org/10.1186/s40878-019-0131-9
  » https://doi.org/10.1186/s40878-019-0131-9
• ²⁴
  Aikes S, Rizzotto MLF. Regional integration of healthcare services in twin cities, Paraná State, Brazil. Cad Saúde Pública. 2018;34(8):1-11. doi: https://doi.org/10.1590/0102-311x00182117
  » https://doi.org/10.1590/0102-311x00182117
• ²⁵
  Miranda FBG, Mazzo A, Pereira-Junior GA. Construction and validation of competency frameworks for the training of nurses in emergencies. Rev. Latino-Am. Enfermagem. 2018;(26):e3061. doi: https://doi.org/10.1590/1518-8345.2631-3061
  » https://doi.org/10.1590/1518-8345.2631-3061
• ²⁶
  Marques JBV, Freitas D. Método DELPHI: caracterização e potencialidades na pesquisa em Educação. Pro-Proposições. 2018;29(2):389-415. doi: http://dx.doi.org/10.1590/1980-6248-2015-0140
  » http://dx.doi.org/10.1590/1980-6248-2015-0140
• ²⁷
  Hirschhorn F. Reflections on the application of the Delphi method: lessons from a case in public transport research. Int J Soc Res Methodol. 2019;22(3):309-22. doi: https://doi.org/10.1080/13645579.2018.1543841
  » https://doi.org/10.1080/13645579.2018.1543841

Editado por

Editora Asociada:

Maria Lúcia Zanetti

Fechas de Publicación

• Publicación en esta colección
  02 Jul 2021
• Fecha del número
  2021

Histórico

• Recibido
  17 Feb 2020
• Acepto
  12 Set 2020