Adaptação e evidências de validade do Questionnaire for Assessing Educational Podcasts (QAEP) para o português brasileiro: um estudo indisciplinar em letramento em saúde

Adaptation and validity evidence of the Questionnaire for Assessing Educational Podcasts (QAEP) into Brazilian Portuguese: an undisciplined study in health literacy

Resumo

Adotando a perspectiva interdisciplinar da linguística aplicada ( Moita Lopes, 2006 ) e assumindo a relação intrínseca entre linguagem e práticas sociais, neste artigo, apresentamos a validação de um instrumento de avaliação de podcast educacional cujo conteúdo vise ao desenvolvimento do letramento em saúde. O uso de podcasts como estratégia de educação em saúde vem aumentando nos últimos anos. Os profissionais dessa área precisam, por outro lado, analisar a adequação desse tipo de recurso educacional digital (RED). Para análise deste tipo de RED, foi desenvolvido, no contexto brasileiro, um instrumento destinado à avaliação de podcast educativo por profissionais de saúde. No entanto, no Brasil, não existe ainda um instrumento específico para avaliação de podcast pelo público ao qual se destina esse tipo de recurso educacional. O objetivo deste estudo então foi traduzir, adaptar e validar, para o português brasileiro, um instrumento com esta finalidade, no caso, o Questionnaire for Assessing Educational Podcasts (QAEP). Trata-se de um estudo metodológico, que se desenvolveu a partir das seguintes fases: 1) foi obtida autorização do autor principal para tradução e uso do instrumento; 2) em seguida, foram executadas etapas de tradução por tradutor profissional e de retrotradução do instrumento por falantes nativos da língua-cultura de partida, que passou a ser chamado de Instrumento de Avaliação de Podcast Educativo (IAPE); 3) um comitê de especialistas (três profissionais da área de saúde e uma linguista aplicada) discutiu a conformidade do protocolo com os objetivos da pesquisa e da área após a tradução e 4) finalmente, foi feita a validação da adaptação por juízes especialistas.

Palavras-chave:
Letramento em saúde; Podcast; Podcast educativo; Validação; Recurso educacional digital

Abstract

Adopting the interdisciplinary perspective of applied linguistics ( Moita Lopes, 2006 ) and assuming the intrinsic relationship between language and social practices, in this article, we present the validation of an educational podcast assessment instrument whose content aims to develop health literacy. The use of podcasts as a health education strategy has increased in recent years. Professionals in this area need, on the other hand, to analyze the suitability of this type of digital educational resource (DER). To analyze this type of DER, an instrument was developed in the Brazilian context for the evaluation of educational podcasts by health professionals. However, in Brazil, there is still no specific instrument for evaluating podcasts by the audience for which this type of educational resource is intended. The objective of this study was to translate, adapt and validate, into Brazilian Portuguese, an instrument for this purpose, in this case, the Questionnaire for Assessing Educational Podcasts (QAEP). This is a methodological study, which developed from the following phases: 1) authorization was obtained from the main author to translate and use the instrument; 2) then, translation steps were carried out by a professional translator and back-translation of the instrument by native speakers of the source language-culture, which came to be called the Educational Podcast Assessment Instrument (EPAI); 3) a committee of experts (three health professionals and an applied linguist) discussed the compliance of the protocol with the research and area objectives after translation and 4) finally, the adaptation was validated by expert judges.

Keywords:
Health literacy; Podcast; Educational podcast; Validation; Digital educational resource

Introdução

A produção e o consumo de podcasts , tal como o podcast educativo, vêm aumentando nos últimos anos, tanto no mundo, como no Brasil. Esse tipo de recurso educacional digital é de fácil utilização devido a não pressupor tempo e locais determinados para a visualização, à facilidade de armazenamento e de acesso em plataformas gratuitas e à possibilidade de papel ativo do aluno no processo de aprendizagem [quando os podcast são produzidos pelos próprios alunos, por exemplo]. Embora seja um tipo de arquivo conhecido por usuários do ambiente digital, ainda não há um consenso para sua definição ( Viana, 2020 ). Há mais de uma década, Bottentuit Junior e Coutinho ( 2007 ) afirmaram que podcasts seriam arquivos digitais de áudio, facilmente baixados e ouvidos em diferentes dispositivos. Segundo Balls-Berry et al. ( 2018 ), seu conteúdo pode englobar várias temáticas e seu objetivo é a transmissão da informação.

Considerando a noção de gêneros do discurso como tipos relativamente estáveis de enunciados que funcionam nas diferentes esferas da atividade humana ( Bakhtin, 2016 ), admite-se aqui que o podcast é enunciado relativamente estável, construído social e culturalmente, e que como tal procede de alguém e se dirige a alguém ( Volochinov, 2013 ). Em outras palavras, entendemos o podcast como um gênero discursivo oral que se caracteriza por sua dinamicidade multissemiótica, “uma vez que essas produções podem explorar diferentes recursos/mecanismos que são indiciadores de sentido, promovendo possibilidades de análise dos usos da modalidade oral” ( Villarta-Neder; Ferreira, 2022, p. 53 ).

Sobre o surgimento e a circulação do gênero, a primeira produção de podcast no Brasil aconteceu no ano de 2004. No ano seguinte, 2005, ocorreu a Conferência Brasileira de Podcasters , como são chamados aqueles que produzem [do ponto de vista da linguagem] esse tipo de enunciado. Atualmente, podem ser encontradas produções bem diversificadas, com os mais diferentes objetivos (entreter, informar, ensinar, resenhar, entre outros) e sobre os mais variados temas em forma de podcast ( Associação Brasileira de Podcasters, 2021 ). Entretanto, apesar da popularização desse gênero nas últimas décadas, parece limitado, ainda, o número de podcasts educativos direcionados à população em geral.

O podcast educativo é um tipo de recurso educacional digital (RED). Os REDs, segundo Araújo ( 2019 ), são entidades digitais que têm como objetivo o ensino. Os formatos em que se apresentam os REDs são bastante variados: softwares , videoaulas, vídeos, áudios, podcast , textos, infográficos, jogos, por exemplo. As principais características técnicas dos REDs são a granularidade (apresentação de pequenos recortes de conteúdo) e a reusabilidade (capacidade de ser usado diversas vezes e em diferentes situações e contextos de aprendizagem).

Existem entidades digitais que já nascem como REDs, isto é, já são concebidas com o objetivo de ensinar, tal como um jogo educacional digital, por exemplo, ou como um podcast educativo. Existem, por outro lado, recursos digitais que são, por assim dizer, convertidos em REDs, ou seja, que são transformados em algo para ensinar. Seria, por exemplo, o caso de um documentário do tipo jornalístico, que pode se converter em uma entidade digital para ensinar a respeito de determinado tema.

Assim como todo recurso pedagógico, os REDs, como recursos complementares de ensino, devem ser avaliados. Especificamente sobre instrumentos de avaliação de REDs em forma de podcast , estudos como os de Semakula, Nsangi, Oxman, Austvoll-Dahlgren et al. ( 2017 ) e Semakula, Nsangi, Oxman, Oxman et al. ( 2020 ) e os de Sulistiawati e Suseno ( 2022 ) avaliam podcasts educativos por meio de instrumentos criados para verificar qual foi a aprendizagem do conteúdo exposto no(s) episódio(s). É pertinente que se faça isso e que sejam avaliados conteúdos específicos, por exemplo. No entanto, é necessário que haja um instrumento geral que permita a percepção do usuário sobre sua própria aprendizagem. Com a avaliação facilitada, tanto criadores de RED em forma de podcast , como professores ou, no caso da área de saúde, profissionais da rede de atenção básica poderiam entender melhor como, para quem e por que utilizarem podcast para promover a aprendizagem.

Por outro lado, mesmo considerando a avaliação específica importante, reconhecemos que, operacionalmente, é difícil desenvolver e validar diferentes instrumentos cujos conteúdos sejam específicos, mesmo considerando-se um recorte de área, como a da saúde, a cada podcast construído. Por isso mesmo, propomos aqui a adaptação e validação de um instrumento de avaliação geral.

Destaque-se que os REDs em forma de podcast educativo são recursos complementares a outras atividades educativas, o que permite que a avaliação específica de conteúdo possa ser realizada em outros momentos do contato educador-educando.

Especificamente quando se trata de letramento em saúde, os REDs normalmente são produzidos por equipes multidisciplinares, cujos responsáveis são profissionais de saúde. Esses recursos então já são produzidos com o objetivo de ensinar um conteúdo sobre saúde a leigos ou a profissionais.

Admitindo-se, numa perspectiva bakhtiniana, que a compreensão dialógica ativa exige a inserção do objeto a ser depreendido em um contexto dialógico ( Bakhtin, 2017 ), explicamos brevemente o contexto a partir do qual se concebe o letramento em saúde, exemplificando-o no cenário de funcionamento da Atenção Primária em Saúde (APS), que é a porta de entrada de usuários do sistema público e universal de saúde brasileiro, o Sistema Único de Saúde (SUS).

No âmbito do SUS, de acordo com Marques e Lemos ( 2022 ), a APS é elemento fundamental para a qualidade do sistema, especialmente quando estruturada a partir da Estratégia de Saúde da Família. Este nível de atenção, por sua vez, apresenta como um dos atributos essenciais a longitudinalidade ou vínculo longitudinal da assistência.

Na construção do vínculo ao longo do tempo entre usuários do SUS e profissionais de equipes multidisciplinares de APS, a comunicação é essencial para que se estabeleça relação de confiança e responsabilidade mútua. Sendo assim, como afirmam Sampaio, Carioca et al. ( 2015 ), é fundamental refletir sobre como as pessoas compreendem e utilizam as orientações da equipe profissional [de APS] para tomar decisões e agir no cuidado consigo mesmas. É este então o contexto das discussões que perpassam a noção de letramento em saúde.

Esse tipo específico de letramento diz respeito ao conjunto de conhecimentos e habilidades desenvolvidos pelas pessoas em interações sociais mediadas, segundo a World Health Organization ( 2021 ), por estruturas organizacionais [de saúde] e pela disponibilidade de recursos que permitem às pessoas acessar, entender, avaliar e usar informações e serviços de maneira a promover e manter boa saúde e bem-estar para si e para os que estão ao seu redor. Considerando-se a definição de letramento em saúde que acabamos de mencionar, os podcasts , como REDs, podem atuar como recursos em prol do letramento em saúde de quem o escuta.

Elencando características de podcast educativo na área de letramento em saúde, Lopes ( 2015 ) e Sampaio e Azevedo ( 2021 ) afirmam que esse tipo de RED deve apresentar alguns atributos previamente definidos, antes de sua oferta ao público-alvo. Dentre elas, as principais seriam:

1. 1.

   tipo (orientação/instrução; expositivo/informativo; feedback /comentário);

2. 2.

   formato (áudio, vídeo com locução ou apenas vídeo, videocast e screencast );

3. 3.

   duração (curto – entre 1 a 5 minutos; moderado – 6 a 15 minutos; longo – mais de 15 minutos);

4. 4.

   estilo (linguagem utilizada: formal ou informal);

5. 5.

   funcionalidade (informar, divulgar, motivar, orientar);

6. 6.

   integralidade (envolvimento do autor ( podcaster ) e ouvinte);

7. 7.

   definição do conteúdo (livre escolha do podcaster ).

O podcast educativo, como um RED, se diferencia dos demais porque sua finalidade é o ensino de temas/conteúdos neles contidos e não apenas a divulgação de informações. Nesta perspectiva, esses tipos de podcasts necessitam ser avaliados e, para tanto, há a necessidade de instrumentos delineados para essa avaliação.

Recentemente, Muniz et al. ( 2021 ) desenvolveram um instrumento para validação de podcast por profissionais da saúde, que nesse caso eram enfermeiros. O instrumento foi desenvolvido para avaliação de podcast cujo conteúdo era referente à hanseníase, mas pode ser utilizado para validação de podcasts com diferentes conteúdos educativos em saúde, substituindo-se o tema hanseníase pelo tema que estiver sendo avaliado. O instrumento desenvolvido por Muniz et al. ( 2021 ) já foi aplicado por Mota et al. ( 2021 ) e por Leite et al. ( 2022 ).

Por outro lado, há poucos instrumentos desenvolvidos para avaliação de podcast pelo público-alvo. Um desses instrumentos, que foi desenvolvido por Alarcón e Blanca ( 2020 ), traz essa proposta. Trata-se do Questionnaire for Assessing Educational Podcasts (QAEP). Os autores realizaram avaliação de episódios de podcast sobre métodos e estatísticas de pesquisa, disciplina ministrada em um curso de Psicologia, da Universidade de Málaga, Espanha. O público que avaliou os episódios foi representado pelos alunos deste curso. O QAEP mostrou boas propriedades psicométricas e os autores sugeriram sua aplicação em outros contextos, envolvendo pessoas de diferentes graus de escolaridade. No Brasil, porém, não há ainda um instrumento validado para avaliação de podcasts educativos por público-alvo.

Assim, o objetivo deste estudo foi traduzir, adaptar e validar o QAEP para o português brasileiro. Dividimos assim este escrito em quatro partes: esta introdução, na qual apresentamos o podcast como um recurso educacional digital utilizado para o letramento em saúde e objetivo do estudo aqui apresentado; a metodologia, em que descrevemos o percurso metodológico, bem como os aspectos éticos, empreendidos na adaptação e validação do instrumento; os resultados e discussão, em que apresentamos as avaliações e sugestões feitas pelos juízes especialistas a respeito da tradução, assim como a discussão a respeito do Instrumento de Avaliação de Podcast Educativo (IAPE), denominação dada ao instrumento em português a partir da adaptação e validação descritas neste artigo e, finalmente, trazemos a conclusão do estudo.

Metodologia

Este estudo se caracteriza como metodológico. Estudos deste tipo são bastante utilizados na área de saúde e têm como “finalidade de: elaborar novos instrumentos ou ferramentas, criar protocolos assistenciais, além de traduzir, validar e adaptar instrumentos preexistentes”( Galvão et al. , 2022, p. 1 ). A adaptação e validação do instrumento de avaliação de podcast aqui apresentada é uma das etapas do projeto intitulado “Plano Conecta Saúde: aliando inovação tecnológica e letramento em saúde na luta contra as doenças crônicas não-transmissíveis”. O projeto é financiado pelo CNPq e foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Estadual do Ceará, sob parecer 3.795.260, CAAE 69459317.0.0000.5534. Um dos objetivos específicos do projeto é a produção de podcasts educativos. Um dos passos metodológicas para atingir esse objetivo é a adaptação do protocolo criado por Alarcón e Blanca ( 2020 ). Os procedimentos adotados foram os que seguem.

Inicialmente, foi obtida autorização do autor principal, Rafael Alarcón, professor do curso de Psicologia da Universidade de Málaga, para adaptação e uso do QAEP. A autorização foi solicitada e também posteriormente concedida por e-mail . No que diz respeito à adaptação, foi seguido o protocolo de Guillemin, Bombardier e Beaton ( 1993 ), pesquisadores na área de saúde. O protocolo proposto pelos autores foi desenvolvido para atender uma demanda da própria área, no que diz respeito à necessidade de tradução e adaptação de instrumentos clínicos (originalmente criados em língua inglesa) em detrimento da criação de novos instrumentos para avaliar a qualidade de saúde de populações não falantes de inglês. O protocolo, chamado pelos autores de “Diretrizes para adaptação transcultural”, é composto três fases:

1. (a)

   tradução, por profissionais especialistas em tradução, para a língua-cultura alvo;

2. (b)

   retrotradução, por tradutores nativos da língua-cultura de partida, para a língua inglesa;

3. (c)

   revisão, por um comitê multidisciplinar.

Nos estudos da tradução, qualquer tradução implica uma leitura e uma interpretação. Por causa disso, é preciso que seja analisado o contexto em que essa tradução vai funcionar. Por essa razão, ela não é ditada por regras (objetividade) e nem também é dependente das idiossincrasias dos tradutores (subjetividade). É justamente por se levar em conta as questões que influenciam a tradução que afirmamos que toda tradução é intersubjetiva ( Toury, 1995 ). Foi a partir dessa perspectiva que a tradução do protocolo foi realizada. Destaque-se também que o olhar dialógico pode ser lançado sobre a tradução. Nas palavras de Sobral ( 2008 ), o ato de tradução

envolve uma atividade de leitura de um texto numa dada língua que difere da leitura em geral porque é feita do ponto de vista de um profissional que, em vez de apenas entender o que lê ou responder/reagir ao que lê, deve enunciá-lo a outros interlocutores, tem de reconstituir/reconstituir/restituir o que lê em outra língua e que, portanto tem de penetrar em dois universos de discurso e colocá-los numa relação de interlocução [...] ( Sobral, 2008, p. 7–8 ).

Neste artigo, enfoca-se principalmente a adaptação e validação feita pelo comitê multidisciplinar (composto pelas pesquisadoras responsáveis pela adaptação do instrumento e pelas juízas e juízes que participaram da etapa de validação). Na etapa de validação, foram analisadas a relevância e a pertinência de cada item do instrumento, considerando-se objetivo do próprio instrumento (avaliar podcasts educativos) e o público a quem o documento se destina (população em geral), assumindo-se assim o enunciado “protocolo de avaliação de podcast ” como procedente de alguém e dirigido a alguém ( Volochinov, 2013 ).

Como primeira etapa do processo de adaptação, o instrumento foi traduzido, para o português brasileiro, por dois tradutores profissionais. No caso, foram escolhidos dois tradutores juramentados. Depois, essa tradução passou por um comitê de especialistas, composto por três nutricionistas e uma linguista aplicada, todas pesquisadoras responsáveis pela adaptação do instrumento. Esse comitê discutiu a conformidade do protocolo com os objetivos da pesquisa e da área. Assim, as pesquisadoras avaliaram as duas traduções, aprovaram uma tradução de consenso e encaminharam para dois tradutores nativos de língua inglesa, para realizar a retrotradução, a qual consiste em traduzir de volta o instrumento para a língua-cultura de partida. Após a retrotradução, o comitê reuniu-se novamente, definindo a versão final do instrumento, que passou a ser chamado Instrumento de Avaliação de Podcast Educativo (IAPE). Este é composto por 20 questões, distribuídas em quatro fatores relativos ao podcast: acesso e uso; design e estrutura; adequação de conteúdo; e importância como recurso de aprendizagem.

Os critérios para seleção dos profissionais que participaram como juízes especialistas no comitê multidisciplinar seguiram aspectos discutidos por Alexandre e Coluci ( 2011 ) em relação a esse tipo de escolha. Definiu-se que o especialista deveria ter pelo menos uma produção científica e/ou prática sobre o tema (letramento em saúde e/ou podcast ) nos últimos cinco anos. Como produção científica ou prática, por sua vez, foram consideradas as seguintes situações: autoria de monografia, dissertação ou tese sobre o tema; orientação de monografia, dissertação ou tese sobre o tema; autoria ou coautoria de livros ou capítulos de livros sobre o tema; autoria ou coautoria de artigo sobre o tema; responsabilidade por disciplina de pós-graduação sobre o tema; atuação como podcaster .

A busca pelos especialistas foi efetuada na Plataforma Lattes (disponível em https://lattes.cnpq.br/ ). Aplicados os critérios, foram escolhidos os primeiros seis profissionais que apareceram na busca. Além desses, foi pedida a indicação de mais um [que atendesse os mesmos critérios] a um dos próprios profissionais já selecionados. Em relação à quantidade de juízes que compõem o comitê multidisciplinar, não há uma recomendação única quanto ao número de juízes, mas há certo consenso em que deva haver ao menos seis especialistas avaliando o material ( Pasquali, 2010 ). Para este estudo então foram selecionados sete juízes.

Os juízes receberam, por meio de e-mail , um link para acesso à avaliação do instrumento, além do termo de consentimento livre e esclarecido e um questionário de caracterização complementar aos dados disponíveis na Plataforma Lattes.

O instrumento foi avaliado quanto:

1. (a)

   à relevância da presença de cada item no questionário

2. (b)

   quanto à sua clareza, através de uma escala tipo Likert, com as opções: não, baixa, média, alta e muito alta, sendo a elas atribuídas pontos, respectivamente, de 1 a 5.

Adotou-se o valor acima de 3 pontos para aceitação e inclusão do item avaliado ( Alarcón; Blanca, 2020 ). Os autores do instrumento original fizeram, ainda, uma avaliação do nível de concordância dos juízes na atribuição de pontos, estabelecendo um índice maior que 0,70 para aprovação.

Resultados e discussão

Antes de apresentar o resultado da avaliação, caracterizemos os juízes escolhidos. A maior parte das juízas e juízes participantes foi do sexo feminino (71,42%), com idade variando de 33 a 64 anos, 24 anos de formação, em média; 57,1% delas com doutorado, havendo quatro professoras universitárias e três podcasters / youtubers , um destes também exercendo atividade na docência de ensino superior. Passemos aos resultados.

Em relação à pertinência, todos os itens de cada fator atingiram o valor médio mínimo para aprovação (acima de 3 pontos), como exposto na tabela 1 , a seguir.

Tabela 1.
Pontuação média obtida nos itens relevância e clareza dos tópicos de cada fator do Instrumento de Avaliação de Podcast Educativo (IAPE), segundo avaliação das juízas e juízes especialistas

Itens do Instrumento	Relevância	Clareza
Fator 1. Acesso e uso
1. Foi fácil acessar o podcast	4,14	4,29
2. Consegui visualizar o podcast em diversos dispositivos (smartphone, PC etc.)	4,29	3,86
3. Consegui visualizar o podcast em vários lugares (casa, rua, emprego, ônibus, shopping etc.)	4,43	4,00
4. Foi fácil encontrar o podcast online	4,14	4,14
Fator 2. Design e estrutura
5. A duração do podcast é apropriada para a compreensão de seu conteúdo	4,71	4,71
6. O design do podcast (capa) é atraente	4,29	4,00
7. O formato de apresentação do podcast é bom	4,29	3,43
8. O áudio do podcast é claro	4,29	4,29
9. O áudio e o vídeo estão devidamente sincronizados	4,14	4,43
Fator 3. Adequação de conteúdo
10. O podcast oferece um bom resumo do assunto	4,14	3,86
11. A terminologia usada no podcast é apropriada	4,14	3,86
12. Os exemplos usados no podcast são adequados	4,14	4,00
13. O conteúdo do podcast é relevante para o assunto	4,29	4,00
Fator 4. Importância como ferramenta de aprendizagem
14. O podcast ofereceu uma boa ajuda para aprender sobre o assunto	4,43	4,00
15. O podcast reforçou minha compreensão do assunto	4,29	4,00
16. O podcast tornou o assunto mais agradável	4,29	4,00
17. O podcast foi útil para aprender sobre o assunto	4,29	4,14
18. Estou satisfeito com o podcast como um recurso para aprender este assunto	4,43	4,00
19. O podcast incentiva os alunos a aprenderem sozinhos	3,57	4,14
20. O podcast melhorou minha compreensão do conteúdo de cada assunto	4,29	4,00

Fonte

O índice de concordância médio obtido na avaliação quanto à relevância, tanto geral, como por fator, foi 0,86.

Já quanto à concordância das juízas e juízes em relação ao tópico “relevância da presença de cada item no questionário”, a concordância foi acima de 0,70 em todos os itens. Quanto à clareza, por sua vez, para dois itens o índice de concordância foi 0,57, a saber, no fator 1, o item 2: “Consegui visualizar o podcast em diversos dispositivos ( smartphone , PC, etc.)” e, no fator 2, o item 7: “O formato de apresentação do podcast é bom”, como pode ser visto na tabela 2 .

Tabela 2.
Índice de concordância das juízas e juízes especialistas quanto à avaliação dos itens relevância e clareza dos tópicos de cada fator do Instrumento de Avaliação de Podcast Educativo (IAPE)

Itens do Instrumento	Relevância	Clareza
Fator 1. Acesso e uso
1. Foi fácil acessar o podcast	4,14	4,29
2. Consegui visualizar o podcast em diversos dispositivos (smartphone, PC etc.)	4,29	3,86
3. Consegui visualizar o podcast em vários lugares (casa, rua, emprego, ônibus, shopping etc.)	4,43	4,00
4. Foi fácil encontrar o podcast online	4,14	4,14
Fator 2. Design e estrutura
5. A duração do podcast é apropriada para a compreensão de seu conteúdo	4,71	4,71
6. O design do podcast (capa) é atraente	4,29	4,00
7. O formato de apresentação do podcast é bom	4,29	3,43
8. O áudio do podcast é claro	4,29	4,29
9. O áudio e o vídeo estão devidamente sincronizados	4,14	4,43
Fator 3. Adequação de conteúdo
10. O podcast oferece um bom resumo do assunto	4,14	3,86
11. A terminologia usada no podcast é apropriada	4,14	3,86
12. Os exemplos usados no podcast são adequados	4,14	4,00
13. O conteúdo do podcast é relevante para o assunto	4,29	4,00
Fator 4. Importância como ferramenta de aprendizagem
14. O podcast ofereceu uma boa ajuda para aprender sobre o assunto	4,43	4,00
15. O podcast reforçou minha compreensão do assunto	4,29	4,00
16. O podcast tornou o assunto mais agradável	4,29	4,00
17. O podcast foi útil para aprender sobre o assunto	4,29	4,14
18. Estou satisfeito com o podcast como um recurso para aprender este assunto	4,43	4,00
19. O podcast incentiva os alunos a aprenderem sozinhos	3,57	4,14
20. O podcast melhorou minha compreensão do conteúdo de cada assunto	4,29	4,00

Fonte

O índice de concordância médio obtido na avaliação quanto à relevância, tanto geral, como por fator, foi 0,86. Já em relação à clareza, os índices dos fatores 1 a 4 foram, respectivamente, 0,71; 0,80; 0,71; e 0,76 e o global foi 0,75.

Alguns, dentre as juízas e juízes, fizeram algumas sugestões para melhoria do instrumento, especificando substituições de palavras que tornariam o instrumento mais claro. Houve, ainda, alguns comentários de que alguns enunciados ou algumas palavras poderiam ser modificados para que se tornassem mais compreensíveis, mas não foram fornecidas sugestões específicas de modificação.

Um dos juízes, entretanto, pontuou que o instrumento poderia ser aprimorado explicitando-se o que se pretendia obter com afirmativas em que houvesse palavras, cujos significados atribuíssem juízos de valor que poderiam ser relativos, considerando-se o conhecimento prévio de cada leitor. Assim, foi sugerido que usar termos como “agradável”, “adequado”, “melhorar a compreensão”, “aprender sozinho”, por exemplo, poderia demandar explicações adicionais ao leitor do instrumento para que ele pudesse melhor interpretar as respostas quando o instrumento for aplicado.

Continuando o processo de adaptação do instrumento, a partir de uma visão dialógica da interação verbal, o comitê de especialistas responsivamente ( Volochinov, 2013 ) realizou modificações no instrumento de acordo com as sugestões recebidas dos interlocutores no processo de validação, considerando a plateia social à qual o instrumento se dirige. As modificações podem ser vistas na tabela 3 , a seguir.

Tabela 3.
Alterações no Instrumento de Avaliação de Podcast Educativo (IAPE) avaliado, considerando sugestões das juízas e juízes especialistas participantes.

Versão preliminar	Versão definitiva
Fator 1. Acesso e uso
2. Consegui visualizar o podcast em diversos dispositivos ( smartphone , PC etc.)	2. Consegui visualizar o podcast em diversos dispositivos (celular, computador, tablet , notebook etc.)
Fator 2. Design e estrutura
6. O design do podcast (capa) é atraente	6. A capa (design) do podcast é atraente
7. O formato de apresentação do podcast é bom	7. Gostei do formato de apresentação do podcast
9. O áudio e o vídeo estão devidamente sincronizados	9. O áudio e o vídeo estão bem sincronizados
Fator 3. Adequação de conteúdo
11. A terminologia usada no podcast é apropriada	11. As palavras usadas no podcast são apropriadas
Fator 4. Importância como ferramenta de aprendizagem
15. O podcast reforçou minha compreensão do assunto	15. O podcast melhorou minha compreensão do assunto
19. O podcast incentiva os alunos a aprenderem sozinhos	19. O podcast incentiva os ouvintes a aprenderem sozinhos

Fonte:

Com as devidas modificações, a tabela 4 exibe o IAPE definitivo. Como já afirmamos anteriormente, de acordo com os autores do instrumento original ( Alarcón; Bendayan; Blanca, 2017 ; Alarcón; Blanca, 2020 ), o podcast deve ser avaliado pelo público-alvo segundo uma escala tipo Likert, com as opções: não, baixa, média, alta ou muito alta, sendo a elas atribuídas pontos, respectivamente, de 1 a 5. Para ser considerado aprovado, a cada tópico deve ser atribuída a opção alta ou muito alta, com pontuação mínima acima de 3 pontos. A avaliação global dos fatores e global do instrumento deve refletir essa pontuação. Na tabela 4 , a seguir, apresentamos a versão definitiva do IAPE.

Tabela 4.
Instrumento de Avaliação de Podcast Educativo (IAPE), versão definitiva em português, proposto para avaliação de podcast educativo por diferentes públicos.

Fator 1. Acesso e uso

1. Foi fácil acessar o podcast .

2. Consegui visualizar o podcast em diversos dispositivos (celular, computador, tablet , notebook etc.).

3. Consegui visualizar o podcast em vários lugares (casa, rua, emprego, ônibus, shopping etc.).

4. Foi fácil encontrar o podcast online .

Fator 2. Design e estrutura

5. A duração do podcast é apropriada para a compreensão de seu conteúdo.

6. A capa (design) do podcast é atraente.

7. Gostei do formato de apresentação do podcast .

8. O áudio do podcast é claro.

9. O áudio e o vídeo estão bem sincronizados.

Fator 3. Adequação de conteúdo

10. O podcast oferece um bom resumo do assunto.

11. As palavras usadas no podcast são apropriadas.

12. Os exemplos usados no podcast são adequados.

13. O conteúdo do podcast é relevante para o assunto.

Fator 4. Importância como ferramenta de aprendizagem

14. O podcast ofereceu uma boa ajuda para aprender sobre o assunto.

15. O podcast melhorou minha compreensão do assunto.

16. O podcast tornou o assunto mais agradável.

17. O podcast foi útil para aprender sobre o assunto.

18. Estou satisfeito com o podcast como um recurso para aprender este assunto.

19. O podcast incentiva os ouvintes a aprenderem sozinhos.

20. O podcast melhorou minha compreensão do conteúdo de cada assunto.

Fonte:

Neste escrito, adotamos a perspectiva indisciplinar da linguística aplicada ( Moita Lopes, 2006, p. 14 ), em que se tem na LA “um modo de criar inteligibilidade sobre problemas sociais em que a linguagem tem um papel central”. No caso desse estudo, tratamos da necessidade de adaptação de protocolo que auxilie profissionais de saúde e o público em geral na avaliação de podcasts educacionais, uma vez que, na construção do letramento em saúde, recursos educacionais digitais podem ser uma das formas de promover a prevenção e o bem-estar em saúde. Apresentamos assim a adaptação e a validação de um instrumento de avaliação de podcast educacional cujo conteúdo vise ao desenvolvimento do letramento em saúde. Dessa forma, damos a conhecer à comunidade científica, o Instrumento de Avaliação de Podcast Educativo (IAPE). O instrumento foi avaliado e aprovado por juízes especialistas e, como já afirmamos, cobre uma lacuna quanto à avaliação de podcasts pela população leiga ou profissional.

Este tipo de instrumento colabora para assegurar que esta estratégia metodológica de educação encontra respaldo na comunidade, no que tange a ser apreciada, compreendida e passível de ser colocada em prática. Devido à forma como o IAPE se apresenta, pode ser possível ser utilizado em outros contextos com proposta educativa, seja na área da saúde ou em outras áreas. Fica aberto então para que outros pesquisadores possam testar sua validade.

Na proposta de Alarcón e Blanca ( 2020 ), os pesquisadores já sugerem avaliar a aplicabilidade do QEAP a diferentes públicos, como, por exemplo, na atenção básica em saúde, em escolas de ensino fundamental e médio, entre outros. Como o instrumento se destina a avaliar podcasts educativos de forma geral e como RED em forma de podcast são recursos que estão se popularizando, ainda segundo os autores, a exposição do instrumento a diversos cenários pode favorecer o aprimoramento do protocolo em função de possíveis dificuldades ou inadequações que porventura sejam encontradas nesses novos contextos.

Como refletiu um dos juízes participantes da avaliação do IAPE, algumas orientações sobre o protocolo precisam ser explicitadas. É importante, então, que ao respondente seja explicado que o conteúdo de suas respostas deve refletir sua opinião e percepção individuais [e não o que ele acredita que já deveria saber sobre podcast , por exemplo], antes mesmo que ele ouça e avalie cada episódio de podcast .

A produção de instrumentos de avaliação de podcasts educativos ainda é escassa, mesmo em âmbito internacional. Os mesmos autores do QEAP ( Alarcón; Blanca, 2020 ) tinham, previamente, desenvol vido um instrumento mais resumido para avaliar podcasts , o Student Satisfaction with Educational Podcasts Questionnaire (SSEPQ), composto por 10 itens, mas que não estratificava as questões nos fatores presentes no QAEP ( Alarcón; Bendayan; Blanca, 2017 ). Os 4 fatores presentes no QAEP, e agora no IAPE, permitem identificar mais detalhadamente a qualidade de um podcast quanto à acessibilidade, utilização, estrutura e conteúdo educativo.

O IAPE permite, portanto, fugir da avaliação focada no acesso, presente nas plataformas de distribuição. Em plataformas, como Spotify, Google Podcasts, Apple Podcasts, entre outras, é possível verificar quantos acessos cada episódio de um podcast teve e o perfil de quem o acessou, mas não se consegue uma análise de conteúdo e respectiva compreensão sob a ótica do público-alvo, tampouco há um feedback direto sobre os aspectos negativos. A indicação desses últimos, por exemplo, permitiria que os autores realizassem modificações, quando necessárias.

No campo da saúde, segundo revisão de Paterson et al. ( 2015 ), destaca-se que a falta de métricas para avaliar qualidade de blogs e podcasts tem consequências negativas, como a falta de uma diretriz que ajude o profissional de saúde a identificar a qualidade daquilo que está recebendo; a dificuldade de educadores em ter segurança para indicar uma fonte para ser vista ou ouvida; dificuldades de avaliação de qualidade de produção acadêmica; dificuldades para blogueiros e podcasters que não têm um guia para desenvolver um bom material educativo. Em sua revisão, os autores identificaram três blocos de indicadores: credibilidade, conteúdo e design . Por outro lado, destacaram a ausência de estrutura e estratificação destes indicadores para aplicação pelos interessados ( Paterson et al. , 2015 ).

Considerando a revisão de Paterson et al. ( 2015 ), Chan et al. ( 2016 ) desenvolveram indicadores para avaliar qualidade e confiabilidade de podcasts . Esses autores chegaram a 13 indicadores, propondo uma avaliação através de uma escala tipo Likert, com sete graduações, desde atributo não exibido até atributo bem exibido. No entanto, tais indicadores são apropriados apenas para avaliação profissional.

Biabdillah, Tolle e Bachtier ( 2021 ) associaram podcast com elementos de gamificação no campo da história, no ensino médio. Os autores utilizaram teste de usabilidade ( ThePost-Study System Usability Questionnaire – PSSUQ) como instrumento de avaliação, integrado por 16 itens, mas tal avaliação apenas se aplica quando o conteúdo educativo demanda interatividade.

Este estudo traz a limitação relativa à escolha do instrumento a ser adaptado e avaliado, pois a escassez de instrumentos disponíveis não permitiu uma análise aprofundada sobre qual o instrumento seria mais apropriado para tal. Por outro lado, o instrumento aqui escolhido é de fácil aplicação devido à clareza e objetividade dos itens, considerando o público-alvo, e foi avaliado como relevante pelos especialistas convidados. Mesmo assim, sua aplicação junto a diferentes públicos-alvo poderá apontar melhor sua adequação e, ao mesmo tempo, permitirá ajustes, caso sejam necessários.

Um ponto positivo do presente estudo foi a presença de uma linguista aplicada na equipe de pesquisadores, o que garante a melhor adaptação do conteúdo aos aspectos interacionais da linguagem, assim como reafirma o olhar da LA sobre a relação entre linguagem e práticas sociais.

O estudo indica, ainda, a necessidade de desenvolvimento de mais instrumentos de avaliação de podcasts educativos, principalmente devido ao alto número de podcasts existentes e ao contingente crescente de ouvintes dessa mídia.

Considerações finais

Tivemos como objetivo neste estudo adaptar e validar um instrumento de avaliação de podcast educacional cujo conteúdo vise ao desenvolvimento do letramento em saúde. Uma limitação deste estudo é relativa à escolha do instrumento a ser adaptado e avaliado. Como há poucos instrumentos psicométricos disponíveis para a avaliação de podcasts educativos, não foi possível escolher em um universo maior um instrumento que seria mais apropriado para tal. Destaque-se que embora tenha sido pensado no contexto do letramento em saúde, o IAPE pode ser aplicado em diferentes contextos e públicos-alvo. Estudos futuros permitirão identificar a necessidade ou não de modificação do instrumento.

Enfocamos neste escrito principalmente a adaptação e a validação do instrumento. As etapas da adaptação e validação contaram com a tradução por tradutor profissional e retrotradução do instrumento por falantes nativos da língua-cultura de partida; adaptação do instrumento, após a tradução, por um comitê de especialistas e a validação do instrumento em português brasileiro por juízas e juízes especialistas. Na adaptação e validação do instrumento foram considerados os aspectos intersubjetivos da tradução, destacando-se especialmente um olhar para o caráter interacional da linguagem. No processo de construção da arquitetura textual-discursiva do IAPE várias vozes se entrecruzam: a dos autores do QEAP, a dos tradutores, a das especialistas e a das juízas e juízes. Essas vozes e as dos novos interlocutores que usarão o protocolo continuarão o tecido da cadeia ininterrupta de enunciados que compõe a interação verbal.

Referências

• ALARCÓN, Rafael; BENDAYAN, Rebecca; BLANCA, María J. Student Satisfaction with Educational Podcasts Questionnaire. Escritos de Psicología, v. 10, n. 2, 2017. DOI: 10.5231/psy.writ.2017.14032.
  » https://doi.org/10.5231/psy.writ.2017.14032
• ALARCÓN, Rafael; BLANCA, María J. Development and Psychometric Properties of the Questionnaire for Assessing Educational Podcasts (QAEP). Front. Psychol., v. 11, p. 579454, 2020. DOI: 10.3389/fpsyg.2020.579454.
  » https://doi.org/10.3389/fpsyg.2020.579454
• ALEXANDRE, Neusa M. C.; COLUCI, Marina Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, v. 16, n. 7, p. 3061–3068, 2011. DOI: 10.1590/S1413-81232011000800006.
  » https://doi.org/10.1590/S1413-81232011000800006
• ARAÚJO, Nukácia M. S. Curadoria digital: o importante papel do professor como curador de Recursos Educacionais Digitais. In: REBECA, Finardi Kyria; ROGÉRIO, Tílio; VLÁDIA, Borges; ADRIANA, Dellagnelo; ETELVO, Ramos Filho (ed.). Transitando e transpondo n(a) linguística aplicada. Campinas: Pontes, 2019. p. 211–239.
• ASSOCIAÇÃO BRASILEIRA DE PODCASTERS. PodPesquisa Produtores 2020/2021. Acesso em: 27 jan. 2021. 2021. Disponível em: https://abpod.org/wp-content/uploads/2020/12/Podpesquisa-Produtor-2020-2021%5C_Abpod-Resultados.pdf .
  » https://abpod.org/wp-content/uploads/2020/12/Podpesquisa-Produtor-2020-2021%5C_Abpod-Resultados.pdf
• BAKHTIN, Mikhail. Gêneros do discurso. Tradução: Paulo Bezerra. São Paulo: Editora 34, 2016.
• BAKHTIN, Mikhail. Notas sobre literatura, cultura e ciências humanas [1970-1975]. Tradução: Paulo Bezerra. São Paulo: Editora 34, 2017.
• BALLS-BERRY, Joyce; SINICROPE, Pamela; VALDEZ SOTO, Miguel; BROCKMAN, Tabetha; BOCK, Martha; PATTEN, Christi. Linking Podcasts With Social Media to Promote Community Health and Medical Research: Feasibility Study. JMIR Form Res., v. 2, n. 2, e10025, 2018. DOI: 10.2196/10025.
  » https://doi.org/10.2196/10025
• BIABDILLAH, Fajerin; TOLLE, Herman; BACHTIER, Fitra A. Go Story: Design and Evaluation Educational Mobile Learning Podcast using Human Centered Design Method and Gamification for History. Journal of Information Technology and Computer Science, v. 6, n. 3, p. 308–318, 2021. DOI: 10.25126/jitecs.202163345.
  » https://doi.org/10.25126/jitecs.202163345
• BOTTENTUIT JUNIOR, João B.; COUTINHO, Clara P. Podcast em educação: um contributo para o estado da arte. In: BARCA, A. et al. (ed.). Libro de Actas do Congreso Internacional Galego-Portugués de Psicopedagoxía. La Coruña: Universidade da Coruña, 2007. p. 837–846.
• CHAN, Teresa M.; THOMA, Brent; KRISHNAN, Keeth; LIN, Michelle; CARPENTER, Christopher R.; ASTIN, Matt; KULASEGARAM, Kulamakan. Derivation of two critical appraisal scores for trainees to evaluate online educational resources: a METRIQ study. Western Journal of Emergency Medicine, v. 17, n. 5, p. 574–584, 2016. DOI: 10.5811/westjem.2016.6.30825.
  » https://doi.org/10.5811/westjem.2016.6.30825
• GALVÃO, Paulo César da Costa; VASCONCELOS, Camila Brito de; AMORIM, Cíntia Raquel Ferreira de; LIMA, Ricardo Oliveira da Cunha; FIORENTINO, Giovanna. Caracterização dos estudos metodológicos em enfermagem: Revisão Integrativa. International Journal of Development Research, v. 12, n. 03, 2022. DOI: 10.37118/ijdr.23954.03.2022.
  » https://doi.org/10.37118/ijdr.23954.03.2022
• GUILLEMIN, Francis; BOMBARDIER, Claire; BEATON, Dorcas. Crosscultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol., v. 46, n. 12, p. 1417–1432, 1993. DOI: 10.1016/0895-4356(93)90142-N.
  » https://doi.org/10.1016/0895-4356(93)90142-N
• LEITE, Paloma Loiola; TORRES, Francisco Ayslan Ferreira; PEREIRA, Leonarda Marques; BEZERRA, Adriana de Moraes; MACHADO, Lucas Dias Soares; SILVA, Maria Rocineide Ferreira da. Construção e validação de podcast para educação em saúde sexual e reprodutiva de adolescentes. Revista Latino-Americana de Enfermagem, Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo, v. 30, spe, e3706, 2022. DOI: 10.1590/1518-8345.6263.3705.
  » https://doi.org/10.1590/1518-8345.6263.3705
• LOPES, Leo. Podcast: guia básico. Rio de janeiro: Editora Marsupial, 2015.
• MARQUES, Suzana R. L.; LEMOS, Stela M. A. Letramento em saúde e fatores associados em adultos usuários da atenção primária. Trabalho, Educação e Saúde, v. 16, n. 2, 2022. DOI: 10.1590/1981-7746-sol00109.
  » https://doi.org/10.1590/1981-7746-sol00109
• MOITA LOPES, Luiz (ed.). Por uma linguística aplicada indisciplinar. São Paulo: Parábola, 2006.
• MOTA, Alessandra da Silva; REIS, Jessyca Santos Cavalcante dos; ROCHA, Sarah Lais; OLIVEIRA, Gisele Rodrigues de Carvalho; DOMINGUES, Robson José de Souza. Construção e Validação de podcast como tecnologia educacional para prevenção da Hemorragia Pós-parto. Research, Society and Development, v. 10, n. 3, 2021. DOI: 10.33448/rsd-v10i3.12913.
  » https://doi.org/10.33448/rsd-v10i3.12913
• MUNIZ, Ricardo Alexandre Amaral; LAMB, Paolo Porciúncula; ROGES, Andréa Loureiro; ARAÚJO, Ednaldo Cavalcante de; VASCONCELOS, Eliane Maria Ribeiro de; MUNIZ, Vilma Célia Amaral. Construção e validação de podcast com conteúdo educacional em saúde com participação ativa de acadêmicos de enfermagem. Research, Society and Development, v. 10, n. 3, 2021. DOI: 10.33448/rsd-v10i3.13646.
  » https://doi.org/10.33448/rsd-v10i3.13646
• PASQUALI, Luiz. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed, 2010.
• PATERSON, Quinten S.; THOMA, Brent; MILNE, W. Kenneth; LIN, Michelle; CHAN, Teresa M. A Systematic Review and Qualitative Analysis to Determine Quality Indicators for Health Professions Education Blogs and Podcasts. Journal of graduate medical education, v. 7, n. 4, p. 549–554, 2015. DOI: 10.4300/JGME-D-14-00728.1.
  » https://doi.org/10.4300/JGME-D-14-00728.1
• SAMPAIO, H. A. C.; AZEVEDO, R. M. Podcast como estratégia educativa. In: JORGE, Maria S. B. et al. (ed.). Tecnologias e-health em gestão em saúde. Curitiba: Editora CRV, 2021. p. 89–111.
• SAMPAIO, Helena Alves de Carvalho; CARIOCA, Antônio Augusto Ferreira; SABRY, Maria Olganê Dantas; SANTOS, Patrícia Mariano dos; COELHO, Maria Auristela Magalhães; PASSAMAI, Maria da Penha Baião. Letramento em saúde de diabéticos tipo 2: fatores associados e controle glicêmico. Ciência & Saúde Coletiva, v. 20, n. 3, p. 865–874, 2015.
• SEMAKULA, Daniel; NSANGI, Allen; OXMAN, Andrew D.; OXMAN, Matt; AUSTVOLL-DAHLGREN, Astrid; ROSENBAUM, Sarah; MORELLI, Angela; GLENTON, Claire; LEWIN, Simon; NYIRAZINYOYE, Laetitia; KASEJE, Margaret; CHALMERS, Iain; FRETHEIM, Atle; ROSE, Christopher J.; SEWANKAMBO, Nelson K. Effects of the Informed Health Choices podcast on the ability of parents of primary school children in Uganda to assess the trustworthiness of claims about treatment effects: One-year follow up of a randomised trial. Trials, v. 21, n. 1, 2020.
• SEMAKULA, Daniel; NSANGI, Allen; OXMAN, Matt; AUSTVOLL-DAHLGREN, Astrid; ROSENBAUM, Sarah; KASEJE, Margaret; NYIRAZINYOYE, Laetitia; FRETHEIM, Atle; CHALMERS, Iain; OXMAN, Andrew D.; SEWANKAMBO, Nelson K. Can an educational podcast improve the ability of parents of primary school children to assess the reliability of claims made about the benefits and harms of treatments: study protocol for a randomised controlled trial. Trials, v. 18, n. 1, 2017. DOI: 10.1186/s13063-016-1745-y.
  » https://doi.org/10.1186/s13063-016-1745-y
• SOBRAL, A. Dizer o “mesmo” a outros: ensaios sobre tradução. São Paulo: Special Book Services Livraria, 2008.
• SULISTIAWATI, Lia; SUSENO, Muchlas. An Evaluation of English Podcast Come and Speak Hour Program. Journal of Linguistics and English Teaching Studies, v. 3, n. 2, p. 47–59, 2022.
• TOURY, G. Descriptive Translation Studies and Beyond. [S. l.]: J. Benjamins Pub., 1995. (Benjamins translation library). ISBN 9789027221452.
• VIANA, Luana. Estudos sobre podcast: um panorama do estado da arte em pesquisas brasileiras de rádio e mídia sonora. Contracampo, v. 39, n. 3, p. 1–16, 2020. DOI: 10.22409/contracampo.v39i3.43248.
  » https://doi.org/10.22409/contracampo.v39i3.43248
• VILLARTA-NEDER, Marco A.; FERREIRA, Helena M. O podcast como gênero discursivo: oralidade e multissemiose aquém e além da sala de aula. Letras, p. 35–56, 2022. DOI: 10.5902/2176148539579.
  » https://doi.org/10.5902/2176148539579
• VOLOCHINOV, Valentin N. A construção da enunciação. In: VOLOCHINOV, Valentin N. (ed.). A construção da enunciação e Outros Ensaios. [S. l.]: Pedro & João Editores, 2013. p. 157–188.
• WORLD HEALTH ORGANIZATION. Health Promotion Glossary of Terms. Geneva: WHO, 2021.

Editado por

Editor de seção:

Daniervelin Pereira

Editor de layout:

João Mesquista

Datas de Publicação

• Publicação nesta coleção
  22 Abr 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  20 Ago 2023
• Aceito
  15 Out 2023
• Publicado
  08 Mar 2024