VALIDAÇÃO DE CARTILHA EDUCATIVA: EFEITO NO CONHECIMENTO SOBRE PREVENÇÃO DA SÍNDROME METABÓLICA EM ADOLESCENTES

RESUMO

Objetivo:

validar a cartilha educativa para promoção do conhecimento sobre prevenção da Síndrome Metabólica em adolescentes.

Método:

quase experimento de séries temporais realizado em 2020 com 37 adolescentes de cinco escolas públicas da rede estadual de ensino de Picos-Piauí-Brasil. Foi realizado em duas fases: 1) desenvolvimento de roteiro de questões sobre prevenção da SM e sua validação de conteúdo por 17 especialistas; 2) quase-experimento com implementação de leitura da cartilha “Síndrome Metabólica: Como me prevenir?”, e avaliação do conhecimento dos adolescentes pré e pós-leitura via roteiro de questões. Para análise da validade de conteúdo do roteiro de questões calculou-se a Content Validity Ratio (CVR>0,529). Para investigar o efeito da cartilha educativa no conhecimento dos adolescentes utilizou-se o teste de McNemar (p<0,05). O estudo foi aprovado pelo Comitê de Ética e Pesquisa da Universidade Federal do Piauí.

Resultados:

a CVR total do roteiro foi de 0,718, representando boa validação de conteúdo do roteiro de questões. Três assertivas foram eliminadas (CVR<0,529). Sobre o conhecimento dos adolescentes, 45,9% melhoraram seu conhecimento, sem diferença significativa (p=0,067).

Conclusão:

o conhecimento dos adolescentes foi maior em quase metade dos adolescentes no pós-teste, demonstrando que a leitura da cartilha educativa favoreceu o conhecimento sobre a prevenção da Síndrome Metabólica.

DESCRITORES:
Síndrome X Metabólica; Adolescente; Educação em saúde; Tecnologia educacional; Estudos de validação

ABSTRACT

Objective:

to validate an educational booklet for the promotion of knowledge about the prevention of Metabolic Syndrome in adolescents.

Method:

a time series quasi-experiment conducted in 2020 with 37 adolescents from five public schools belonging to the teaching state network of Picos, Piauí, Brazil. It was conducted in two phases: 1) development of a script of questions about the prevention of MS and its content validation by 17 experts; 2) quasi-experiment with reading of the booklet called “Síndrome Metabólica: Como me prevenir?” (“Metabolic Syndrome: How can I protect myself?”, and assessment of the adolescents' knowledge through a script of questions before and after reading the booklet. To analyze content validity of the script of questions, the Content Validity Ratio was calculated (CVR>0.529). The McNemar test (p<0.05) was used to investigate the effect of the educational booklet on the adolescents' knowledge. The study was approved by the Research Ethics Committee of Universidade Federal do Piauí.

Results:

the script of question's overall CVR was 0.718, representing good content validation. Three assertions were removed (CVR<0.529). Regarding the adolescents' knowledge, 45.9% improved it, with no significant difference (p=0.067).

Conclusion:

the adolescents' knowledge was higher in almost half of the participants in the post-test, showing that reading the educational booklet favored knowledge about the prevention of Metabolic Syndrome.

DESCRIPTORS:
Metabolic X Syndrome; Adolescent; Education in health; Educational technology; Validation studies

RESUMEN

Objetivo:

validar el cuadernillo educativo para promover el conocimiento sobre la prevención del Síndrome Metabólico entre adolescentes.

Método:

cuasi experimento de series temporales realizado en 2020 con 37 adolescentes de cinco escuelas públicas pertenecientes a la red estatal de enseñanza de Picos, Piauí, Brasil. Se realizó en dos fases: 1) desarrollo del guion de preguntas sobre prevención del SM y su validación de contenido a cargo de 17 especialistas; 2) cuasiexperimento con lectura del cuadernillo “Síndrome Metabólica: Como me prevenir?” (“Síndrome Metabólico: ¿Cómo puedo protegerme?”), y evaluación del conocimiento de los adolescentes antes y después de la lectura a través del guion de preguntas. Para analizar la validez del contenido del guion de preguntas, se calculó la Relación de Validez de Contenido (Content Validity Ratio, CVR>0,529). Para investigar el efecto del cuadernillo educativo sobre el conocimiento de los adolescentes, se utilizó la prueba de McNemar (p<0,05). El estudio fue aprobado por el Comité de Ética e Investigación de la Universidade Federal do Piauí.

Resultados:

el CVR total del guion fue de 0,718, lo que representa buena validación del contenido del guion de preguntas. Se eliminaron tres afirmaciones (CVR<0,529). En relación con el conocimiento de los adolescentes, el 45,9% presentó mejoras, sin diferencias significativas (p=0,067).

Conclusión:

el conocimiento de los adolescentes fue superior en prácticamente la mitad de los participantes en el post-test, lo que demuestra que leer el cuadernillo educativo favoreció el conocimiento sobre la prevención del Síndrome Metabólico.

DESCRIPTORES:
Síndrome Metabólico X; Adolescente; Educación en salud; Tecnología educativa; Estudios de validación

INTRODUÇÃO

A Síndrome Metabólica (SM) constitui problema de saúde pública brasileiro e mundial, definido pela presença de um conjunto de fatores de risco interrelacionados, que incluem: obesidade abdominal, hiperglicemia de jejum, hipertensão arterial, lipoproteína de alta densidade-colesterol (HDL-c) baixa e hipertrigliceridemia1. Por anos considerada relevante apenas em adultos e idosos, têm na atualidade presença frequente entre jovens, crianças e adolescentes2^-3.

Atualmente, a prevalência mundial de SM em crianças e adolescentes é 3,3% e 29,2% quando associada com sobrepeso e obesidade4^-6. Na SM, o conhecimento preventivo é essencial7. Nesse contexto, há necessidade de desenvolvimento e aplicabilidade de intervenções educativas planejadas, de fácil compreensão e atrativas, que despertem interesse do público. Assim, materiais impressos, como cartilhas educativas, têm sido eficiente recurso pedagógico usado na educação em saúde com adolescentes8^-9.

Com base nestes aspectos, Moura (2016)10 elaborou cartilha educativa, intitulada “Síndrome Metabólica: Como me prevenir?”, para orientar adolescentes sobre conceitos, fatores de risco e prevenção da SM. Essa cartilha teve seu conteúdo e aparência validados por juízes e sua compreensão analisada junto ao público-alvo. Este estudo dá continuidade ao processo de validação do material educativo verificando o seu efeito no conhecimento de adolescentes sobre a prevenção da SM. Objetivou-se, portanto, validar a cartilha educativa para promoção do conhecimento sobre prevenção da Síndrome Metabólica (SM) em adolescentes.

MÉTODO

Trata-se de quase experimento de séries temporais, do tipo antes e depois, com abordagem quantitativa, para validação externa da cartilha educativa, intitulada “Síndrome Metabólica: Como me prevenir?”. O presente estudo ocorreu em duas fases: 1) construção e validação de conteúdo de roteiro de questões sobre SM; 2) Quase experimento, com intervenção utilizando a cartilha educativa e avaliação do conhecimento dos adolescentes pré e pós-intervenção.

O estudo foi realizado em cinco escolas públicas da rede estadual de ensino da zona urbana da cidade de Picos-Piauí, de agosto a novembro de 2020. A rede estadual de ensino do município possui 17 escolas, dessas 10 possuem turmas do 9º ano do ensino fundamental e do 1º ao 3º ano do ensino médio. Assim, as cinco escolas que participaram do estudo foram selecionadas entre as 10 escolas via sorteio em aplicativo “Gerador aleatório” para smartphone.

A população foi composta por adolescentes de 14 a 17 anos matriculados nas cinco escolas sorteadas. Essa faixa etária foi escolhida, por ser a contemplada no processo de análise semântica da cartilha educativa. Para estimativa do tamanho amostral foi utilizada fórmula baseada no teste de Chi-quadrado de McNemar, usado para analisar frequências (proporções) de duas amostras relacionadas11. A partir do cálculo obteve-se o resultado de 38 adolescentes para compor a amostra, a qual foi distribuída nas cinco escolas. Em cada escola buscou-se alcançar uma amostra de, aproximadamente, 10 adolescentes, visando totalizar 50 participantes. A amostra inicial foi de 41 adolescentes. Houve perda de quatro participantes, pois não concluíram a última etapa da pesquisa, sendo finalizada com 37 participantes.

Para participar da pesquisa definiu-se como critérios de inclusão: adolescentes escolares de ambos os sexos na faixa etária de 14 a 17 anos; possuir telefone celular com aplicativo WhatsApp para contato com a pesquisadora. O critério de exclusão adotado foi adolescentes com déficit cognitivo e/ou auditivo ou qualquer dificuldade que inviabiliza a comunicação e a realização das etapas de pesquisa. Essa informação foi obtida no primeiro contato com os pais ou responsáveis dos adolescentes. E o critério de descontinuidade foi a não participação em todas as etapas da pesquisa.

A primeira fase do estudo constituiu-se na construção e validação de conteúdo de um roteiro de questões, que foi desenvolvido pelas pesquisadoras do estudo com base nos conteúdos encontrados na cartilha educativa, “Síndrome Metabólica: Como me prevenir?”. Foi composto por 20 assertivas, sendo 15 verdadeiras e as demais falsas, visando comparar o nível de conhecimento dos adolescentes sobre o tema. A quantidade de assertivas elaboradas abrangeu a totalidade de temas contidos na cartilha, sendo elaborada uma assertiva para cada tema.

Após a construção, o roteiro passou pelo processo de validação de conteúdo por um conjunto de juízes composto por diferentes profissionais que se encaixaram em alguma destas áreas de interesse: pesquisadores/docentes na área de SM, saúde do adolescente, elaboração e/ou validação de instrumentos, avaliação da aprendizagem.

Para o estabelecimento do tamanho da amostra dos juízes foram empregados os conceitos da Psicometria, que recomenda um número de seis a 20 especialistas12. Dezessete (17) juízes especialistas avaliaram o roteiro de questões, que compuseram a amostra nesta etapa do estudo. Os especialistas foram escolhidos no banco de dados do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), sendo identificados 54 juízes, os quais obteve-se o retorno de apenas cinco. Assim, foi adotada também a amostragem do tipo “bola de neve”, a partir dos cinco primeiros juízes. Foi solicitado a eles a indicação de outros juízes que se encaixavam nos critérios para participação do estudo13. A partir desse método 12 juízes participaram da pesquisa, complementando a amostra da pesquisa.

Pela necessidade de garantir parâmetros de qualidade para a seleção dos especialistas, utilizou-se o conjunto de requisitos para definição de juízes de conteúdo docentes e assistenciais conforme recomendações de Jasper (1994)14: possuir habilidade/conhecimento adquiridos pela experiência; possuir habilidade/conhecimento especializado; possuir habilidade especial em determinado tipo de estudo; possuir aprovação em um teste específico para identificar experts; possuir classificação alta atribuída por uma autoridade. Foram selecionados os juízes que atenderam a pelo menos 2 dos requisitos descritos e excluídos aqueles que não responderam ao convite ou não devolveram os documentos recebidos dentro do prazo estabelecido.

O contato com os juízes foi realizado via correio eletrônico. Nesse e-mail foi enviada a carta convite, explicou-se o objetivo e a metodologia do estudo por meio das instruções de avaliação dos especialistas. Além disso, encaminhou-se o Termo de Consentimento Livre e Esclarecido (TCLE), uma cópia da cartilha educativa em formato portátil de documento (PDF) e o link em formato online do instrumento de validação de conteúdo do roteiro de questões, elaborado a partir da ferramenta web Google Docs.

No processo de validação de conteúdo do roteiro de questões, adicionou-se ao lado de cada questão o modelo de classificação de itens, o qual utiliza uma escala categórica ordinal de quatro pontos: 1) Não é indicativa; 2) Muito pouco indicativa; 3) Consideravelmente indicativa e 4) Muitíssimo indicativa acerca da compreensão do conteúdo da cartilha educativa15. A opção três e quatro são consideradas adequadas, além disso, em cada questão foi acrescentado um campo destinado para observações e recomendações de alteração dos especialistas.

A análise da construção e validação do roteiro de questões foi realizada a partir do cálculo da Content validity ratio (CVR), que é uma estatística linear da proporção de especialistas que avaliam um item como “essencial”16. Os valores de CVR variam entre -1 (discordância perfeita) e +1 (concordância perfeita), valores CVR acima de zero indica que mais da metade dos membros concordam com um item essencial17.

Para avaliar a validade de conteúdo das questões realizou-se uma conversão da escala ordinal de quatro pontos para uma escala de três pontos variando de menos um (-1= não é indicativa); zero (0= muito pouco indicativa); mais um (+1= consideravelmente ou muitíssimo indicativa). Dessa forma, foi calculado o CVR dos itens (CVR-I), bem como o CVR total do instrumento (CVR-S) que demonstra a validade de toda o roteiro e é baseado nos valores médios de CVR encontrados por item18. Como o número de especialistas que participaram do estudo foram 17 juízes, o valor crítico do CVR (o ponto de corte) utilizado foi 0,529, ou seja, itens com CVR igual ou superior a este ponto foram considerados com boa evidência de validade de conteúdo. Os itens com CVR menor foram reavaliados ou eliminados17. Também foram realizadas alterações nos itens do roteiro de questões conforme as observações e recomendações dos juízes.

A segunda fase do estudo constituiu-se na validação externa da cartilha educativa com a realização de uma intervenção quase-experimental com grupo único de adolescentes, sendo dividida em quatro etapas.

Inicialmente a pesquisadora entrou em contato com a direção das cinco escolas sorteadas, por meio de envio de e-mails e ligações telefônicas, explicando os objetivos e procedimentos a serem implementados durante o estudo e solicitando a lista dos alunos com os contatos dos pais ou responsáveis dos adolescentes de cada turma selecionada.

Com as listas dos alunos, realizou-se o sorteio daqueles que constituíram a amostra de cada escola. Logo após, foi realizado o primeiro contato com os pais ou responsáveis, objetivando solicitar o consentimento oral para que os adolescentes participassem do estudo. Nessa oportunidade foram fornecidas informações sobre a pesquisa, seus objetivos e os procedimentos éticos e morais.

Em seguida, foi solicitado o primeiro contato com os adolescentes, para convidá-los a participar do estudo. Após seu aceite, foi feita a leitura e explicação do TCLE e do Termo de Assentimento Livre e Esclarecido (TALE), enviados via WhatsApp para os participantes, assim como o link dos instrumentos de pesquisa, o questionário de caracterização sociodemográfica e o questionário de conhecimento sobre a prevenção da SM (pré-teste). O preenchimento dos questionários foi realizado de forma online.

Posteriormente, a cartilha educativa foi enviada em formato PDF a cada participante. A pesquisadora realizou a leitura, juntamente com o adolescente, por meio de vídeo chamada no WhatsApp ou no aplicativo do Google Meet. Logo após, foram sanadas as dúvidas que surgiram. Depois desse momento, explicou-se aos adolescentes a terceira etapa da pesquisa que constituiu na intervenção mediante a leitura da cartilha pelos participantes, durante um mês. Nessa etapa, foram enviadas mensagens semanais, por meio de um grupo de WhatsApp criado pela pesquisadora para cada turma selecionada, com o objetivo de incentivar a leitura da cartilha, totalizando quatro mensagens que continha o seguinte conteúdo:

Bom dia/ Boa tarde!

Sou a Mariana. Estou passando para lembrar da leitura da cartilha educativa sobre Síndrome Metabólica. Se você leu ou está lendo, confirme aqui no grupo. E se ainda não leu, é importante que faça a leitura, conforme combinado.

Após um mês do primeiro encontro, aconteceu a quarta etapa do estudo que consistiu no envio do questionário de conhecimento sobre a prevenção da SM (pós-teste), objetivando assim avaliar o conhecimento dos participantes sobre o tema após o processo de intervenção educativa com o uso da cartilha. As etapas são ilustradas na Figura 1.

Figura 1 -
Etapas da Intervenção Educativa. Picos, PI, Brasil, 2020.

Os dados obtidos foram digitados e organizados no programa Microsoft Office Excel. Para as análises estatísticas dos dados foram utilizados os softwares R versão 4.0.2 e o Statistical Package for the Social Sciences (SPSS), versão 20.0.

Para a análise dos dados referentes à intervenção educativa, realizou-se a descrição das variáveis sociodemográficas dos adolescentes. As variáveis qualitativas foram resumidas por frequências absolutas (n) e relativas (%) e as quantitativas em medidas de tendência central (média) e de dispersão (desvio-padrão). Para observar o efeito da intervenção com o uso da cartilha no conhecimento dos adolescentes, considerou-se o acerto de cada uma das 17 questões, e para observar o efeito no conhecimento geral considerou-se o somatório das questões respondidas de forma correta pelos adolescentes, antes e após a intervenção. Considerando que a mesma amostra de adolescentes foi observada no pré-teste e pós-teste, caracterizando pareamento amostral, utilizou-se o teste de McNemar ao nível de 0,05 de significância, para investigar o efeito da cartilha educativa no nível de conhecimento, em termos percentuais, dos adolescentes sobre a prevenção da SM. A cartilha terá efeito significativo quando a hipótese nula “não há efeito da cartilha” for rejeitada (valor de p<0,05). Os resultados obtidos foram expressos em tabelas e gráficos e discutidos com a literatura pertinente.

O estudo foi aprovado pelo comitê de ética e pesquisa da Universidade Federal do Piauí. Foram obedecidos os preceitos éticos da Resolução 466/12 do Conselho Nacional de Saúde/Ministério da Saúde - CNS/MS.

RESULTADOS

A primeira versão do roteiro de questões foi construída com 20 assertivas verdadeiras e falsas sobre os conceitos, fatores de risco e medidas de prevenção da SM, contidas na cartilha intitulada “Síndrome Metabólica: Como me prevenir?”. Após a construção das questões, o roteiro passou pela etapa de validação de conteúdo por 17 especialistas, sendo estes a maioria do sexo feminino (82,4%), enfermeiros (76,4%), com o tempo de formação acadêmica de 10 a 20 anos (58,8%). Em relação ao nível de escolaridade a maioria possuía a titulação de doutor (76,4%). Os locais de atuação profissional dos juízes identificados foram oito estados brasileiros: Piauí, Ceará, Pernambuco, Amazonas, Pará, Minas Gerais, São Paulo e Paraná.

Os especialistas possuem experiência na assistência (58,8%), ensino (82,4%) e pesquisa (94,1%) nas áreas de interesse: SM, saúde do adolescente, elaboração e/ou validação de instrumentos, avaliação da aprendizagem. Além disso, 94,1% dos especialistas possuem publicações científicas em alguma dessas áreas.

Os especialistas avaliaram a pertinência dos itens, assinalando uma opção sobre adequação das definições apresentadas na cartilha educativa. A partir dessa avaliação realizou-se cálculo da CVR para cada questão e para o roteiro de questões como um (Tabela 1).

Ao analisar os dados, observa-se que a CVR calculada para a maioria dos itens alcançou valor maior que 0,529, o que atende ao valor mínimo recomendado pela literatura científica. Cinco itens não obtiveram CVR mínima de 0,529 (3, 6, 11, 18, 20): dois desses foram reavaliados (3, 6), conforme sugestões dos juízes; e três eliminados (11, 18, 20). Mesmo com avaliação de alguns itens como inadequados, a CVR total ficou com o valor de 0,718, representando boa validação de conteúdo do instrumento como um todo (Tabela 1).

Tabela 1 -
Razão de Validade de Conteúdo (CVR) do roteiro de questões sobre Síndrome Metabólica. Picos, PI, Brasil, 2020. (n=17)

Itens		CVR*
1	A Síndrome Metabólica é caracterizada por um conjunto de fatores que aumentam as chances de ter problemas no coração ou nos vasos sanguíneos.	1,0
2	A pessoa com síndrome metabólica pode apresentar gordura acumulada na região da barriga.	1,0
3	A quantidade alta de açúcar no sangue não é um componente identificado em pessoas com síndrome metabólica.	0,412**
4	A pressão alta é um componente identificado em pessoas com síndrome metabólica.	1,0
5	Gorduras em excesso acumuladas nas células é um componente identificado em pessoas com síndrome metabólica.	1,0
6	O colesterol bom alto (HDL) aumenta o risco de ter síndrome metabólica.	0,176**
7	A pessoa com histórico familiar de síndrome metabólica corre risco de desenvolver também essa doença.	0,765
8	O risco de desenvolvimento da síndrome metabólica aumenta se a pessoa tem uma vida sedentária, sem atividade física.	1,0
9	Todas as pessoas que têm uma alimentação inadequada podem ter maior chance de desenvolver síndrome metabólica.	0,647
10	Fumar é fator de risco para o desenvolvimento da síndrome metabólica.	0,765
11	A síndrome metabólica é encontrada apenas em pessoas adultas e idosas.	0,176†
12	Atualmente o número de crianças e adolescentes com a síndrome metabólica é cada vez maior.	0,882
13	O diagnóstico da Síndrome Metabólica deve ser feito por um profissional de saúde, por meio da avaliação de exames físicos e laboratoriais.	1,0
14	É possível prevenir a Síndrome metabólica!	0,882
15	A alimentação saudável previne o desenvolvimento de síndrome metabólica, por isso verduras, legumes e frutas devem ser inclusas nas refeições.	1,0
16	Em todas as idades é fundamental realizar algum exercício físico, para adolescentes, sua prática deve ser regular, no mínimo 60 minutos de atividade física diária.	1,0
17	A prática de atividade física regular ajuda na prevenção do desenvolvimento de fatores de risco para a síndrome metabólica, além disso aumenta a autoestima e ajuda a melhorar o bem-estar.	1,0
18	O hábito de fumar causa problemas estéticos, mas não favorece o surgimento de doenças cardiovasculares (coração e vasos sanguíneos).	0,059†
19	Ingerir bebidas alcoólicas em excesso pode causar mal-estar físico e mental, comportamento agressivo e, em longo prazo, um grande número de doenças fatais, dentre essas a síndrome metabólica.	0,647
20	Vivenciar momentos de estresses persistentes não interfere nas doenças cardíacas (coração e vasos sanguíneos) e no desenvolvimento da síndrome metabólica.	-0,059†
CVR* Total		0,718

• ^* Razão de validade de conteúdo; ^** Itens reavaliados; †Itens eliminados.

Além de avaliar a pertinência de cada questão, os juízes podiam incluir observações e recomendações de alteração, caso considerassem necessário. As sugestões dos juízes foram, em sua maioria, sobre alterações na escrita, para tornar as questões mais claras e objetivas.

Após validação de conteúdo e análise das observações e recomendações feitas pelos especialistas, das 20 assertivas do roteiro de questões, onze foram reavaliadas e alteradas, seis não sofreram alterações e três foram eliminadas. A decisão pela eliminação das assertivas “11”, “18” e “20” foi baseada nos seguintes resultados: valor da CVR <0,529; e ausência de sugestões de alteração na escrita destas assertivas por parte dos juízes. Sendo assim, a versão final do roteiro de questões ficou composta por 17 assertivas, 15 verdadeiras e duas falsas.

A intervenção educativa foi finalizada com 37 adolescentes. A Tabela 2 apresenta a caracterização sociodemográfica dos adolescentes participantes do estudo.

Tabela 2 -
Caracterização sociodemográfica dos adolescentes participantes da pesquisa. Picos, PI, Brasil, 2020. (n=37)

Variáveis	N	%	Média±DP*
Sexo
Feminino	26	70,3
Masculino	11	29,7
Faixa etária			15,9±1,0
14-15 anos	13	35,1
16-17 anos	24	64,9
Escolaridade (anos de estudo)			12,4±1,5
9-10 anos	2	5,4
11-12 anos	17	46,0
13-14 anos	15	40,5
15-16 anos	3	8,1
Cor (autorreferida)
Branca	11	29,7
Negra	6	16,2
Amarela	3	8,1
Parda	17	45,9
Com quem mora
Pais	34	91,9
Outros	3	8,1
Número de residentes no domicílio			4,2±1,2
2-3	11	29,7
4-5	23	62,2
6 ou mais	3	8,1
Situação conjugal
Solteiro	35	94,6
Casado	1	2,7
União estável	1	2,7
Ocupação nos últimos 12 meses
Só estuda	34	91,9
Trabalho remunerado	3	8,1
Renda familiar			1791,09±1702,65
≤ 1 salário-mínimo**	17	45,9
> 1 salário-mínimo	20	54,1
Classe econômica†
Classe A	2	5,4
Classe B1	0	0
Classe B2	9	24,3
Classe C1	8	21,6
Classe C2	11	29,7
Classe D-E	7	18,9

• ^* Desvio Padrão; ^** Considerado valor do salário-mínimo brasileiro no ano 2020: R$ 1045,00; ^†Associação Nacional de Empresas e Pesquisas (2019).

Com relação à avaliação do efeito da intervenção por meio da leitura da cartilha educativa, notou-se que o percentual de acerto no pós-teste foi igual ou superior na maioria dos itens, mas não houve diferença significativa entre pré e pós-teste, exceto no item “11 - Atualmente, o número de crianças e adolescentes com síndrome metabólica é cada vez maior”, em que foi observado 30 (81,1%) acertos no pré-teste e 36 (91,1%) no pós-teste (Tabela 3).

Tabela 3 -
Comparação de acertos antes e após a intervenção com a cartilha educativa sobre SM. Picos, PI, Brasil, 2020. (n=37)

Item	Pré-teste	Pós-teste	Valor de p*
1 - A Síndrome Metabólica é caracterizada por um conjunto de fatores que aumentam as chances de ter problemas no coração ou nos vasos sanguíneos.	36 (97,3)	36 (97,3)	1,000
2 - A pessoa com síndrome metabólica pode apresentar gordura acumulada na região da barriga.	33 (89,2)	33 (89,2)	1,000
3 - Baixa quantidade de açúcar no sangue é um dos componentes identificados em pessoas com síndrome metabólica.	9 (24,3)	10 (27,0)	1,000
4 - A pressão arterial alta é um dos componentes identificados em pessoas com síndrome metabólica.	31 (83,8)	35 (94,6)	0,289
5 - Gorduras acumuladas nas células são um dos componentes identificados em pessoas com síndrome metabólica.	28 (75,7)	29 (78,4)	1,000
6 - O bom colesterol (HDL), quando elevado, aumenta o risco de ter síndrome metabólica.	21 (56,8)	18 (48,6)	0,629
7 - As pessoas que têm uma alimentação inadequada podem ter maior chance de desenvolver síndrome metabólica.	33 (89,2)	37 (100)	0,125
8 - A pessoa com histórico familiar de síndrome metabólica corre risco de desenvolver também essa doença.	25 (67,6)	27 (73)	0,774
9 - O risco de desenvolvimento da síndrome metabólica aumenta se a pessoa tem uma vida sedentária, sem atividade física.	34 (91,9)	37 (100)	0,250
10 - Não fumar é uma medida preventiva da Síndrome metabólica.	31 (83,8)	34 (91,9)	0,453
11 - Atualmente, o número de crianças e adolescentes com síndrome metabólica é cada vez maior.	30 (81,1)	36 (97,3)	0,031
12 - O diagnóstico da Síndrome Metabólica deve ser feito por um profissional de saúde, por meio da avaliação de exames físicos e laboratoriais.	36 (97,3)	33 (89,2)	0,375
13 - É possível prevenir a Síndrome Metabólica.	36 (97,3)	37 (100)	1,000
14 - A alimentação saudável, através de verduras, legumes e frutas, previne o desenvolvimento de síndrome metabólica, por isso devem ser inclusas nas refeições.	34 (91,9)	37 (100)	0,250
15 - A prática de atividade física diária para adolescentes deve ser regular, no mínimo 60 minutos.	34 (91,9)	36 (97,3)	0,625
16 - A prática de atividade física regular ajuda na prevenção do desenvolvimento de fatores de risco para a síndrome metabólica.	35 (94,6)	33 (89,2)	0,625
17 - Ingerir bebidas alcoólicas em excesso pode causar mal-estar físico e mental, comportamento agressivo e, em longo prazo, muitas doenças fatais.	35 (94,6)	36 (97,3)	1,000

• ^* Teste exato de McNemar, nível de significância de 0,05.

Quanto à situação geral do conhecimento dos adolescentes, 45,9% melhoraram seu conhecimento sobre prevenção da SM, 35,1% continuaram com a mesma pontuação e 18,9% tiveram perda na pontuação. Porém, não foi observada diferença estatisticamente significativa na melhoria da pontuação total (p = 0,067>0,05) (Tabela 4).

Tabela 4 -
Efeito da leitura da cartilha no nível de conhecimento. Picos, PI, Brasil, 2020. (n=37)

Situação	N	%	Valor de p *
Diminuiu	7	18,9	0,067
Indiferente	13	35,1
Aumentou	17	45,9
Total	37	100	-

• ^* Teste exato de McNemar, nível de significância de 0,05.

Na Figura 2, a seguir, os pontos verdes representam os adolescentes que melhoraram a pontuação, 17 adolescentes no total, os pontos vermelhos representam aqueles em que houve perda na pontuação, 7 adolescentes observados. Sobre a reta estão aqueles que não alteraram a pontuação mesmo após a intervenção com a cartilha educativa, vale ressaltar que existem pontos sobrepostos, uma vez que existem adolescentes que obtiveram a mesma pontuação no pré-teste e no pós-teste.

Figura 2 -
Gráfico de dispersão, pontuação no pré-teste vs pós-teste. Picos, PI, Brasil, 2020. (n=37)

DISCUSSÃO

O roteiro de questões foi construído com informações da cartilha educativa “Síndrome Metabólica: como me prevenir?. Logo após, seu conteúdo foi validado por 17 especialistas de diferentes áreas relacionadas à temática de avaliação. A validação de conteúdo é etapa essencial no desenvolvimento de instrumento de medidas, para esse processo é importante a avaliação por especialistas com experiência e qualificação na área de conhecimento do instrumento, permitindo avaliar o grau em que cada item do instrumento é válido, confiável e representativo19.

Para análise da avaliação do grau de concordância entre os especialistas utilizou-se cálculo da CVR para cada questão e para o roteiro de questões (CVR total). Observou-se o uso e aceitação deste teste nos estudos de validação de instrumentos para adolescentes e na área de saúde20^-21. Dessa forma, segundo os especialistas, o roteiro de questões mostrou boa validade de conteúdo, indicando que contém assertivas relevantes, usáveis para identificar conhecimento dos adolescentes antes e após a leitura da cartilha educativa.

Na validação de conteúdo de alguns estudos é comum realizar procedimentos qualitativos, que incluem deixar espaço para que os juízes possam contribuir com sugestões e/ou comentários8^,19^,22. Em sua maioria, as assertivas do roteiro de questões foram avaliadas como adequadas pelos especialistas quanto à adequação ao conteúdo da cartilha educativa, mesmo assim deixaram registradas suas contribuições e recomendações para melhor aprimoramento de sua aplicabilidade à população-alvo.

A versão final do roteiro de questões constituiu o questionário de conhecimento sobre a SM, utilizado para avaliar o nível de conhecimento dos adolescentes antes e após a leitura da cartilha educativa. Cada assertiva do roteiro vale um ponto, a pontuação total, obtida pela soma das respostas assinaladas corretamente, varia de 0 a 17. Quanto maior a pontuação total, melhor o nível de conhecimento dos adolescentes sobre a SM.

Este estudo comparou o conhecimento dos adolescentes sobre SM antes e após leitura da cartilha educativa, visando validar externamente essa tecnologia cuidativo-educacional. Com base nos resultados, observou-se percentual de acerto no pós-teste igual ou superior na maioria das assertivas, sem diferença significativa, exceto no item 11.

Outros quase-experimentos que avaliaram conhecimento de adolescentes antes e após implementação de tecnologia educativa, encontraram efeito positivo pós-intervenção, com aumento estatisticamente significativo em alguns itens23^-24.

Neste estudo, não houve diferença estatística significativa entre as respostas de cada questão avaliada no pré e pós-teste. Esse resultado pode ser explicado pelas características da cartilha educativa que, apesar de ter sido desenvolvida para os adolescentes, o designer foi inspirado em teoria direcionada para pessoas com baixo nível de letramento25. O conteúdo para pessoas com baixo nível de letramento levou a maior facilidade para compreensão da maioria das assertivas do roteiro de questões.

Esse aspecto contribuiu para o alto conhecimento no pré-teste e pouca ou nenhuma diferença no pós-teste. Esses resultados sugerem um melhor planejamento na fase de construção da tecnologia educacional que observe o designer, a profundidade do conteúdo e o nível de letramento do público-alvo ao qual se destina. Assim, conjectura-se que a cartilha “Síndrome Metabólica: Como me prevenir?” por suas características de designer lúdico e exigência de baixo nível de letramento possa demonstrar efeito positivo no conhecimento sobre SM de crianças com até sete anos de escolaridade.

Estudo que avaliou o efeito de intervenção educativa no conhecimento de crianças sobre hábitos saudáveis e fatores de risco para doença cardiovascular, observou-se conhecimento prévio sobre a temática antes das intervenções educativas, nos grupos intervenção e controle, não apresentando diferença estatística. Os autores ressaltaram que esses resultados podem ser explicados porque as escolas e a mídia têm dado importância às discussões sobre alimentação adequada e atividades físicas na melhoria da qualidade de vida e prevenção de doenças cardiovasculares e seus fatores de risco26.

As questões “6”, “12” e “16” apresentaram perda no número de acertos no pós-teste. Este resultado pode ser justificado pela possibilidade de os participantes terem respondido o pré-teste corretamente ao acaso, o que não expressa o verdadeiro conhecimento sobre o assunto. Como as questões são dicotômicas possuem 50% de chance de acerto ao acaso, podendo ser um fator que dificulta demonstrar o efeito da cartilha educativa no conhecimento dos adolescentes sobre SM.

Com relação à situação geral do nível de conhecimento dos adolescentes, 45,9% dos adolescentes melhoraram seu conhecimento sobre aspectos relacionados à SM, porém não se observou diferença significativa na melhoria da pontuação total.

Em estudo realizado em um período maior e de forma presencial observou-se um resultado divergente em relação ao presente estudo. Verificou-se que após uma intervenção realizada com cinco encontros de ES relacionados aos fatores de risco para SM, houve aumento do nível do conhecimento após intervenções educativas, ou seja, a média do pós-teste tardio (90 dias depois) foi maior que a do pré-teste, com significância estatística (p<0,0001)27. Além disso, avaliaram a atitude de mudanças após as intervenções educativas, e constataram que 48,8% relataram ter conseguido mudar hábitos alimentares e 62,8% dos escolares referiram ter introduzido atividade física diária27.

Nesta perspectiva, destaca-se que as intervenções educativas, aumentam o nível de conhecimento, contribui para desenvolvimento de pensamento crítico e reflexivo, leva os indivíduos à autonomia, capazes de decidir e modificar atitudes tendo em vista o autocuidado em saúde28. Vale ressaltar a relevância da continuidade das estratégias educativas, pois mudanças dos hábitos de vida, como adesão à alimentação saudável e prática de atividade física ocorrem em médio e longo prazo, e resultam de dedicação individual e de assistência profissional27.

A partir do presente resultado é possível visualizar que mesmo sem diferença significativa nas análises estatísticas, quase metade dos adolescentes apresentaram melhora na pontuação do conhecimento sobre a SM após a intervenção com a cartilha educativa. Deste modo, o desenvolvimento de intervenções educativas com a utilização de cartilhas contribui para melhorar o conhecimento dos públicos a que se destinam. Nesse sentido, estudiosos têm desenvolvido e validado cartilhas educativas para abordagem sobre assuntos de importância à saúde do adolescente, como prevenção do excesso ponderal, do uso de drogas, da violência sexual, dentre outros temas23^,29.

A utilização da cartilha educativa “Síndrome metabólica: como me prevenir?” na presente intervenção educativa não demonstrou efeito positivo no aumento do nível de conhecimento sobre SM entre os adolescentes. Esses resultados podem estar relacionados ao curto período de tempo da intervenção educativa, a quantidade pequena de participantes e ao levantamento dos dados que aconteceu de forma remota, possibilitando a exclusão dos adolescentes sem acesso à internet e a ocorrência de viés de mensuração, uma vez que esse tipo de pesquisa impossibilita o controle dos respondentes e a ausência de garantia que os participantes leram e analisaram previamente as questões investigadas antes do envio das respostas.

Desta forma, é relevante dar continuidade na implementação da cartilha educativa e roteiro de questões em novos estudos, buscando alcançar número maior de adolescentes, possibilitando a realização de intervenções educativas com encontros presenciais em âmbito escolar. Para que seja possível obter resultados mais precisos acerca do efeito da cartilha no conhecimento dos adolescentes mediante seguimento mais duradouro, que permita avaliar mudanças de atitudes e estilo de vida.

Considerando que a cartilha educativa apresenta uma linguagem de fácil compreensão e que não se obteve diferença significativa no conhecimento dos adolescentes, ainda se sugere a aplicação desses instrumentos em pessoas de baixo letramento em saúde, como crianças e pré-adolescentes, para que seja possível testar a efetividade da tecnologia em pessoas com nível educacional inferior ao dos adolescentes.

CONCLUSÃO

Constatou-se que no pós-teste o conhecimento foi maior em quase metade dos adolescentes, porém sem diferença estatística significativa. Assim, a intervenção com o uso da cartilha educativa não demonstrou efeito positivo no aumento do conhecimento sobre SM entre os adolescentes, exceto em um item do roteiro de questões.

O roteiro de questões foi elaborado e validado por especialistas para aplicação especificamente nesse estudo, devendo passar por outros processos de avaliação para aplicação em estudos distintos sobre conhecimento de adolescentes acerca da SM.

Mesmo diante das limitações, esse estudo permitiu alcançar adolescentes em um cenário difícil para realização de pesquisas, que foi a pandemia, e abordou temas importantes de promoção da saúde e prevenção da SM, aumentando o conhecimento dos participantes sobre a temática.

Ressalta-se ser possível desenvolver e validar roteiro de questões que possibilita avaliar ações de educação em saúde com adolescentes escolares sobre aspectos relacionados à SM e nortear a construção e validação de novas tecnologias educacionais sobre prevenção e adoção de hábitos de vida saudáveis entre adolescentes.

REFERENCES

• 1. Alberti KG, Eckel RH, Grundy SM, Zimmet PZ, Cleeman JI, Donato KA, et al. Harmonizing the metabolic syndrome: a joint interim statement of the International Diabetes Federation Task Force on Epidemiology and Prevention; National Heart, Lung, and Blood Institute; American Heart Association; World Heart Federation; International Atherosclerosis Society; and International Association for the Study of Obesity. Circulation [ Internet]. 2009 [cited 2021 Aug 12]; 120(16):1640-5. Available from: https://doi.org/10.1161/CIRCULATIONAHA.109.192644
  » https://doi.org/10.1161/CIRCULATIONAHA.109.192644
• 2. Carvalho CA de, Fonseca PCA, Barbosa JB, Machado SP, Santos AM dos, Silva AAM da. The association between cardiovascular risk factors and anthropometric obesity indicators in university students in São Luís in the State of Maranhão, Brazil. Ciênc Saúde Coletiva [Internet]. 2015 [cited 2020 Jun 16]; 20(2):479-90. Available from: https://doi.org/10.1590/1413-81232015202.02342014
  » https://doi.org/10.1590/1413-81232015202.02342014
• 3. Kuschnir MCC, Bloch KV, Szklo M, Klein CH, Barufaldi LA, Abreu GA, et al. ERICA: prevalence of metabolic syndrome in Brazilian adolescents. Rev Saúde Pública [Internet]. 2016 [cited 2019 Jul 17]; 50(1 Suppl 1):11s. Available from: https://doi.org/10.1590/s01518-8787.2016050006701
  » https://doi.org/10.1590/s01518-8787.2016050006701
• 4. Friend A, Craig L, Turner S. The prevalence of metabolic syndrome in children: a systematic review of the literature. Metab Syndr Relat Disord [Internet]. 2013 [cited 2020 May 30]; 11(2):71-80. Available from: https://doi.org/10.1089/met.2012.0122
  » https://doi.org/10.1089/met.2012.0122
• 5. Précoma DB, Oliveira GMM, Simão AF, Dutra OP, Coelho OR, Izar MCO, et al. Atualização da Diretriz de Prevenção Cardiovascular da Sociedade Brasileira de Cardiologia-2019. Arq Bras Cardiol [Internet]. 2019 [cited 2020 Dec 16]; 113(4):787-91. Available from: http://publicacoes.cardiol.br/portal/abc/ português /2019/ v11304/pdf/11304022.pdf
  » http://publicacoes.cardiol.br/portal/abc/ português /2019/ v11304/pdf/11304022.pdf
• 6. Bezerra MRE, Lyra MJ, dos Santos MAM, Colares V, de Menezes VA. Fatores de risco modificáveis para doenças crônicas não transmissíveis em adolescentes: Revisão Integrativa. Adolesc Saúde [Internet]. 2018 [cited 2020 Jul 19]; 15(2):113-20. Available from: http://adolescenciaesaude.com/detalhe_artigo.asp?id=726
  » http://adolescenciaesaude.com/detalhe_artigo.asp?id=726
• 7. Malta DC, Morais Neto OL, Silva Junior JB. Apresentação do plano de ações estratégicas para o enfrentamento das doenças crônicas não transmissíveis no Brasil, 2011 a 2022. Epidemiol Serv Saúde [Internet]. 2011 [cited 2019 Sep 7]; 20(4):425-38. Available from: http://scielo.iec.gov.br/pdf/ess/v20n4/v20n4a02.pdf
  » http://scielo.iec.gov.br/pdf/ess/v20n4/v20n4a02.pdf
• 8. Moura JRA, Silva KCB da, Rocha AESH, Santos SD dos, Amorim TRS, Silva ARV da. Construction and validation of a booklet to prevent overweight in adolescents. Acta Paul Enferm. [Internet]. 2019 [cited 2019 Sep 15]; 32(4):365-73. Available from: https://doi.org/10.1590/1982-0194201900051
  » https://doi.org/10.1590/1982-0194201900051
• 9. Soares GM, Zangerolamo L, Rosa LRO, Branco RCS, Carneiro EM, Barbosa-Sampaio HC. Impact of a playful booklet about diabetes and obesity on high school students in Campinas, Brazil. Adv Physiol Educ [Internet]. 2019 [cited 2021 Aug 12]; 43(3):266-9. Available from: https://doi.org/10.1152/advan.00160.2018
  » https://doi.org/10.1152/advan.00160.2018
• 10. Moura IH, Silva AFR, Rocha AESH, Lima LHO, Moreira TMM, Silva ARV. Construction and validation of educational materials for the prevention of metabolic syndrome in adolescents. Rev Latino-Am Enfermagem [Internet]. 2017 [cited 2021 Aug 13]; 25:e2934. Available from: https://doi.org/10.1590/1518-8345.2024.2934
  » https://doi.org/10.1590/1518-8345.2024.2934
• 11. Arango HG. Bioestatística: teórica e computacional. 3rd ed. Rio de Janeiro, RJ(BR): Guanabara Koogan; 2009.
• 12. Pasquali L. Psicometria: teoria e aplicações. Brasília, DF(BR): Universidade de Brasília; 1997.
• 13. Polit DF, Beck CT. Fundamentos da pesquisa em enfermagem: avaliação de evidências para a prática de enfermagem. 9th ed. Porto Alegre, RS(BR): Artmed; 2018.
• 14. Jasper MA. Expert: a discussion of the implications of the concept as used in nursing. J Adv Nurs [Internet]. 1994 [cited 2019 Jul 20]; 20(4):769-76. Available from: https://doi.org/10.1046/j.1365-2648.1994.20040769.x
  » https://doi.org/10.1046/j.1365-2648.1994.20040769.x
• 15. Pasquali L. Princípios de elaboração das escalas psicológicas. Rev Psiquiatr Clínica. 1998; 25(5):206-13.
• 16. Lawshe CH. A quantitative approach to content validity. Pers Psychol [Internet]. 1975 [cited 2021 Aug 20]; 28: 563-75. Available from: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.460.9380&rep=rep1&type=pdf
  » https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.460.9380&rep=rep1&type=pdf
• 17. Ayre C, Scally AJ. Critical Values for Lawshe’s Content Validity Ratio: revisiting the original methods of calculation. Meas Eval Couns Dev [Internet]. 2014 [cited 2021 Aug 20]; 47(1):79-86. Available from: https://doi.org/10.1177%2F0748175613513808
  » https://doi.org/10.1177%2F0748175613513808
• 18. Ortiz La Banca R, Rebustini F, Alvarenga WA, de Carvalho EC, Lopes M, Milaszewski K, Nascimento LC. Checklists for assessing skills of children with type 1 diabetes on insulin injection technique. J Diabetes Sci Technol [Internet]. 2021 [cited 2021 Aug 20]; 9:1932296820984771. Available from: https://doi.org/10.1177%2F1932296820984771
  » https://doi.org/10.1177%2F1932296820984771
• 19. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saude Coletiva [Internet]. 2011 [cited 2019 Sep 19]; 16(7):3061-8. Available from: https://doi.org/10.1590/S1413-81232011000800006
  » https://doi.org/10.1590/S1413-81232011000800006
• 20. Mousazadeh S, Rakhshan M, Mohammadi F. Investigation of Content and Face Validity and Reliability of Sociocultural Attitude towards Appearance Questionnaire-3 (SATAQ-3) among Female Adolescents. Iran J Psychiatry [Internet]. 2017 [cited 2021 Aug 19];12(1):15-20. Available from: https://www.ncbi.nlm.nih.gov/pubmed/28496497
  » https://www.ncbi.nlm.nih.gov/pubmed/28496497
• 21. Zare E, Simbar M, Shahhosseini Z, Alavi MH. Design and Psychometric Properties of Male Adolescent Health Needs-Assessment Scale. Int J Community Based Nurs Midwifery [Internet]. 2016 [cited 2021 Aug 19]; 4(4):297-308. Available from: https://www.ncbi.nlm.nih.gov/pubmed/27713893
  » https://www.ncbi.nlm.nih.gov/pubmed/27713893
• 22. Martins FDP, Pontes CM, Javorski M, Gomes LF, Barros ACR de, Leal LP. Design and validation of an evaluation instrument on knowledge of schoolchildren about breastfeeding. Acta Paul Enferm [Internet]. 2017 [cited 2020 Jun 1];30(5):466-78. Available from: https://doi.org/10.1590/1982-0194201700068
  » https://doi.org/10.1590/1982-0194201700068
• 23. Praxedes MLS, Queiroz MVO, Vieira RP. Effectiveness of an educational game on contraception with adolescent students: a quasi-experimental study. Online Braz J Nurs [Internet]. 2019 [cited 2021 Jan 11]; 18(4). Available from: https://doi.org/10.17665/1676-4285.20196184
  » https://doi.org/10.17665/1676-4285.20196184
• 24. Uchôa MALF. Validação clínica de uma tecnologia em saúde: efeito no conhecimento sobre prevenção da obesidade em adolescentes escolares [dissertação]. Fortaleza (CE), Universidade Estadual do Ceará; 2019.
• 25. Doak CC, Doak LG, Root JH. Teaching patients with low literacy skills. 2th ed. Philadelphia, PA(US): J.B. Lippincott; 1996.
• 26. Cecchetto FH, Pena DB, Pellanda LC. Playful interventions increase knowledge about healthy habits and cardiovascular risk factors in children: The CARDIOKIDS Randomized Study. Arq Bras Cardiol [Internet]. 2017 [cited 2021 Feb 2];109(3):199-206. Available from: https://doi.org/10.5935/abc.20170107
  » https://doi.org/10.5935/abc.20170107
• 27. Cortez RMA, Batista AMO, Rocha MR da, Santos IMS, Moura JRA, Silva ARVda. Students’ knowledge of metabolic syndrome after educational intervention. Rev Bras Enferm [Internet]. 2018 [cited 2019 Sep 15]; 71( 4 Suppl):1493-9. Available from: https://doi.org/10.1590/0034-7167-2017-0342
  » https://doi.org/10.1590/0034-7167-2017-0342
• 28. Souza VB, Silva JS, Barros MC, Freitas PSP. Soft technologies in health to potentize the quality of care to pregnant women. Rev Enferm UFPE online [Internet]. 2014 [cited 2021 Jan 11]; 8(5):1388-93. Available from: https://doi.org/ 10.5205/1981-8963-v8i5a9824p1388-1393-2014
  » https://doi.org/ 10.5205/1981-8963-v8i5a9824p1388-1393-2014
• 29. Moura MIL de, Leal JB, Leal JB, Correia VGA, Leal JBP, Silva MG, et al. First reader on prevention of drug use for teens. J Nurs UFPE online [Internet]. 2019 [cited 2021 Jan 13]; 13(4):1106-14. Available from: https://doi.org/10.5205/1981-8963-v13i04a237875p1106-1105-2019
  » https://doi.org/10.5205/1981-8963-v13i04a237875p1106-1105-2019

NOTAS

• ORIGEM DO ARTIGO

  Extraído da dissertação - Validação clínica de uma cartilha educativa sobre conhecimento das ações preventivas de síndrome metabólica em adolescentes, apresentada ao Programa de Pós-Graduação em Saúde e Comunidade, da Universidade Federal do Piauí, em 2021.

• APROVAÇÃO DE COMITÊ DE ÉTICA EM PESQUISA

  Aprovado no Comitê de Ética em Pesquisa da Universidade Federal do Piauí Campus Senador Helvídio Nunes de Barros, parecer n. 3.644.984/2019, Certificado de Apresentação para Apreciação Ética 21259119.0.0000.8057.

Editado por

EDITORES

Editores Associados: Natália Gonçalves, Monica Motta Lino. Editor-chefe: Roberta Costa.

Datas de Publicação

• Publicação nesta coleção
  07 Fev 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  24 Mar 2021
• Aceito
  19 Out 2021