Resumo:
O artigo descreve o desenvolvimento e a aplicação de um inventário para avaliação da adequação de textos didáticos de Medicina. Os itens do instrumento foram derivados de principias da teoria instrucional e de dados empíricos. Na aplicação do instrumento, dezenas de professores de cinco disciplinas cl/nicas distintas responderam ao inventário, examinando o texto apropriado dentre cinco livros correspondentes àquelas disciplinas.
A análise das respostas demonstrou a confiabilidade do inventário e revelou três dimensões com sua consistência interna. Verificou-se ainda que o instrumento distinguiu significativamente os textos examinados em termos das dimensões identificadas. As informações gerais obtidas forneceram subsidias incorporados a um documento de análise e avaliação sobre textos didáticos de Medicina.
Summary:
The development and application of an inventory to assess the adequacy of medical textbooks are described. The ten-item tool was derived from empirical data and principles of instructional theory. The inventory was used by a large number of teachers associated with five different clinical courses to assess a particular textbook pertaining to their specialty.
The analysis of the responses showed the reliability of the inventory. Factor analysis revealed three dimensions compatible with the internal consistency of the tool. It was also found that the inventory significantly differentiates the textbooks assessed on the basis of the adequacy dimensions identified. The general information obtained contributed data that was incorporated to a report on the analysis and evaluation of medical textbooks.
Introdução
No estudo e na prática da Medicina, a leitura de livros representa uma fonte principal de informação sobre problemas, princípios e procedimentos de interesse médico. Para o estudante, o livro continua a ser um instrumento crítico na captação da informação, especialmente sendo essa consolidada, básica, ou genérica44. NORTHUP, D. E. et allii - Characteristics of clinical information searching: investigation using critical incident technique. J. Med. Educ., Washington, 58 (11): 873-881, 1983.. Entretanto, a própria variedade de tipos e necessidades de informação, entre outros fatores, reclama a definição de critérios para seleção de textos conforme sua adequação aos diferentes propósitos de uso.
Vários meios de análise são comentados na literatura, nessa perspectiva de apreciação do conteúdo e da efetividade de textos.22. HARTLEY, J. - Designing instructional text. Cap. 3. London, Kogan Page, 1978, 124p.),(66. SARI, I. F. & REIGELUTH, C. M. - Writing and evaluating textbooks: contributions from instructional theory. In; D. Jonassen (Ed.), Technology of text: principles for structuring, designing, and displaying text. Englewood Cliffs, Educational Technology Publ., 1982. 465p.),(77. VALTIN, H. - Thoughts on medical writing and teaching. The Physiologist, Bethesda, 23(6): 54-58, 1980. Para ilustrar, HARTLEY exemplifica uma lista de características que pode ser conferida por docentes ao examinar, ou comparar, livros didáticos22. HARTLEY, J. - Designing instructional text. Cap. 3. London, Kogan Page, 1978, 124p.. Potencialmente, listas equivalentes podem servir de critério de valor e utilidade de textos médicos, tendo em vista o uso da informação. Tal instrumento contribuiria na orientação da escolha de livros, tanto para constituir a biblioteca pessoal do estudante de Medicina, quanto para definir o acervo de primeira linha da instituição de ensino. Para explorar essas possibilidades, o autor elaborou um inventário de dez itens referentes a características seletivas do livro didático médico e dirigido para docentes do ciclo profissional do curso. Sua aplicação inicial se destinava a atender uma proposta de revisão do Programa de Livros Didáticos da OPAS55. ORGANIZAÇÃO PAN-AMERICANA DE SAÚDE. (Área V) - PALTEX: relatório final do seminário de avaliação e reorientação do Programa no Brasil. Brasília, 1983. 6 p. mimeo..
Este trabalho descreve os elementos da elaboração do instrumento e analisa os padrões de respostas obtidas na sua aplicação e os fatores subjacentes identificados.
Metodologia de desenvolvimento
Descrição
O inventário das características do texto é um instrumento elaborado para aferir a adequação de um livro ao processo de ensino-aprendizagem de uma matéria, segundo as percepções dos docentes envolvidos. Consiste de dez itens que expressam características ou requisitos de textos didáticos na formação profissional (Tabela 1). Para cada item, questiona-se ao respondente que avalie em que extensão um texto sob apreciação atende ao requisito, na escala de resposta afixada: de 1 = de modo nenhum, 2 = restritamente, 3 = parcialmente, 4 = amplamente, até 5 = completamente. O índice global do inventário é representado pela média geral das respostas aos itens.
Elaboração
Esse inventário foi elaborado juntamente com outras partes do que foi denominado Questionário de Avaliação do Livro Didático de Medicina. O questionário se destinava a subsidiar o processo de revisão e reorientação do Programa de Livros Didáticos (PALTEX) da OPAS, mediante ampla consulta aos docentes de escolas médicas brasileiras.55. ORGANIZAÇÃO PAN-AMERICANA DE SAÚDE. (Área V) - PALTEX: relatório final do seminário de avaliação e reorientação do Programa no Brasil. Brasília, 1983. 6 p. mimeo. O procedimento seguido na produção do questionário se baseou na experiência documentada11. BERDIE, D. R. & ANDERSON, J. F. - Questionnaires: design and use. Metuchen, Scarecrow Press, 1974. 225p.. Em particular, os itens do inventário derivaram de uma concepção de que o livro profissional serve funções principais como repositório de informações e assessoramento ao treinamento clínico e, menos, como instrumento de serviço para o estudante. Dados da literatura subsidiaram esse enfoque.22. HARTLEY, J. - Designing instructional text. Cap. 3. London, Kogan Page, 1978, 124p.,66. SARI, I. F. & REIGELUTH, C. M. - Writing and evaluating textbooks: contributions from instructional theory. In; D. Jonassen (Ed.), Technology of text: principles for structuring, designing, and displaying text. Englewood Cliffs, Educational Technology Publ., 1982. 465p.,77. VALTIN, H. - Thoughts on medical writing and teaching. The Physiologist, Bethesda, 23(6): 54-58, 1980. O conteúdo e organização dos itens foram preliminarmente criticados por diversos profissionais, antes da administração de uma versão de ensaio do questionário numa faculdade de Medicina. A partir das dificuldades observadas nessa aplicação, apresentou-se uma versão revista a três outros educa dores, do que resultou a forma definitiva empregada na consulta aos professores.
Aplicação
Na administração do instrumento, trezentos questionários foram distribuídos (por via postal) a professores de sessenta escolas - previamente indicados pelos respectivos diretores - de acordo com as matérias correspondentes aos cinco textos selecionados para apreciação: Cirurgia, Clínica Médica, Pediatria, Obstetrícia e Ginecologia. Cento e setenta e dois questionários foram devolvidos em tempo hábil. A taxa de respostas (57,3%) obtida é satisfatória, levando em conta a via postal de comunicação e o próprio contexto de dificuldades, no âmbito universitário, em que se inseriu esse levantamento.
Análise
Diversas análises especiais (de fatores, confiabilidade, variância), além da apuração de freqüências e estatísticas básicas, foram realizadas em cento e sessenta e seis questionários devidamente preenchidos. Cada texto é representado por trinta e um a trinta e cinco questionários. Utilizou-se o sistema SPSS, na versão H empregada no CPD da Universidade de Brasília. A escolha das técnicas foi baseada, em parte, no texto de MARKS33. MARKS, R. G. - Analysing research data. Belmont, Life-time Learning Publ., 1982. 210 p.. Os resultados aqui relatados referem-se exclusivamente aos dados do inventário de características do texto (1 1 (*) Os subsídios obtidos dos dados gerais do levantamento são apresentados no Relatório de Trabalho (Análise e Avaliação de Livros Didáticos de Medicina, apresentado pelo autor ao Escritório da Área V da OPAS, em abril de 1985. ).
Resultados e comentários
A análise de fatores das respostas do inventário - efetuada pela técnica de análise de componentes com rotação varimax - revelou três fatores ou dimensões de percepções dos docentes, responsáveis por 66,5% da variância dos itens. A Tabela 1 mostra os índices de correlação ou pesos (“loadings”) para cada item da relação de características.
O primeiro fator ou dimensão, responsável por 41 ,6% da variância, reflete requisitos dos assuntos do texto e pode ser denominado de “adequação geral da informação". Seis itens tem alta correlação (>0.5) neste fator (a saber, 1,3,4,5,6 e 9). Essa identificação realça a preponderância das características do conteúdo na apreciação dos respondentes.
A segunda dimensão reflete a suficiência do conteúdo para propósitos da graduação, sendo denominada “suficiência para a graduação”. O fator é responsável por 14,5% da variância e tem correlação elevada nos itens 2 e 10.
A terceira dimensão contém elementos relacionados com a indução ou facilitação da aprendizagem do conteúdo, sendo denominada “apresentação facilitativa”. Dois itens (7 e 8) têm elevada correlação nessa dimensão, que é responsável por 10,5% da variância apenas - refletindo a menor importância atribuída ao fator.
A distribuição dos pesos ou correlações dos itens evidencia a multidimensionalidade da escala ou inventário. A análise de fatores mostra ampla variação nos coeficientes de correlação entre os itens. A confiabilidade do instrumento foi calculada para o conjunto e para os subconjuntos especificados pelos cinco textos examinados. Em todos os casos, o coeficiente de confiabilidade mostrou-se elevado (> 0.81), indicando o alto nível de consistência interna. No conjunto, todos os itens apresentam substancial correlação (> 0.3) com a pontuação total da escala (índice global), sendo o valor mínimo para o item 8 e máximo para o item 10. Esses dados mostram que o instrumento tem elevada confiabilidade e validade de construto.
Elementos adicionais da validade do instrumento foram revelados pela comparação dos cinco textos examinados, em termos do perfil de pontuação das características de adequação. Buscava-se, no caso, verificar se há equivalência entre os textos, todos previamente selecionados entre os mais apropriados para o ensino médico, embora possivelmente diferindo-se na abrangência e na pertinência do conteúdo para a situação loca1 de ensino-aprendizagem. Dois dentre os cinco livros são nacionais.
A Tabela 2 apresenta as médias dos itens para cada texto. A técnica de análise de variância (2-way) revelou diferenças significantes no perfil de pontuações dos itens entre os livros, bem como nas pontuações dos itens para cada livro.
A Tabela 3 mostra uma consolidação das diferenças observadas, em função das dimensões identifica das na aná lise de fatores e do índice global do inventário. A técnica de análise de variância revela diferenças significantes, entre os livros, para os índices correspondentes a cada dimensão e também, entre as dimensões para cada livro. Portanto, em termos dos índices de adequação descritos, os textos examinados não são equivalentes, em conjunto.
Conclusões
As respostas aos itens do inventário de características do texto definem um aspecto distinto do - embora relacionados com - conteúdo específico dos textos. A natureza dos itens permite inferir as percepções dos docentes em termos da adequação dos requisitos da informação didática.
As diferenças significantes entre os itens e os livros (na análise de variância) levantam questões a respeito da concepção de textos didáticos nos diversos contextos das disciplinas. Vale dizer que vários fatores de erros nas respostas docentes (conhecimento, memória, motivação e comunicação) podem contribuir para a variabilidade nas medidas.
Um resultado importante por si mesmo é a indicação da validade do instrumento, expressa na análise dos fatores, e nas diferenças e similaridades dos padrões dos índices de adequação (Tabela 3). Correlações significantes entre esses índices e tipos de recomendação sobre cada texto também foram observadas (em medidas não apresentadas) e reforçam a validade do instrumento.
Outros estudos são necessários para definir as implicações práticas das medidas do inventário de características. É preciso saber se essas medidas são consistentes com outros tipos de avaliação de textos, a exemplo da análise por peritos66. SARI, I. F. & REIGELUTH, C. M. - Writing and evaluating textbooks: contributions from instructional theory. In; D. Jonassen (Ed.), Technology of text: principles for structuring, designing, and displaying text. Englewood Cliffs, Educational Technology Publ., 1982. 465p.),(88. WRIGH, P. - Usability: The criterion for designing written information. In: P. A. Kolers et allii (Eds.), Processing visible language, vol. 2. New York, Plenum, 1980.. Outrossim, se as percepções dos docentes têm relação com medidas objetivas de utilização dos textos pelos estudantes. Nesse sentido, há necessidade de comparação de livros de disciplina idêntica por docentes da mesma área geoeducacional.
Em conclusão, a documentação de um critério de efetividade de textos didáticos é importante mormente quando se considera a possibilidade de incremento na eficiência do ensino profissional para o aluno médio. A utilização de medidas de adequação do livro pode contribuir para essa perspectiva.
Agradecimentos
Este estudo foi realizado graças ao incentivo e apoio da Organização Pan-Americana de Saúde (Area V). O autor expressa também seu reconhecimento pelo auxílio eficiente prestado por Tânia Mara de Araújo Campos (CPD-UnB) e registra, com louvor, a cooperação estimulante dos quase duzentos profissionais que participaram no estudo, seja na elaboração do instrumento, ou na resposta aos questionários.
Referências bibliográficas
-
1BERDIE, D. R. & ANDERSON, J. F. - Questionnaires: design and use. Metuchen, Scarecrow Press, 1974. 225p.
-
2HARTLEY, J. - Designing instructional text. Cap. 3. London, Kogan Page, 1978, 124p.
-
3MARKS, R. G. - Analysing research data. Belmont, Life-time Learning Publ., 1982. 210 p.
-
4NORTHUP, D. E. et allii - Characteristics of clinical information searching: investigation using critical incident technique. J. Med. Educ., Washington, 58 (11): 873-881, 1983.
-
5ORGANIZAÇÃO PAN-AMERICANA DE SAÚDE. (Área V) - PALTEX: relatório final do seminário de avaliação e reorientação do Programa no Brasil. Brasília, 1983. 6 p. mimeo.
-
6SARI, I. F. & REIGELUTH, C. M. - Writing and evaluating textbooks: contributions from instructional theory. In; D. Jonassen (Ed.), Technology of text: principles for structuring, designing, and displaying text. Englewood Cliffs, Educational Technology Publ., 1982. 465p.
-
7VALTIN, H. - Thoughts on medical writing and teaching. The Physiologist, Bethesda, 23(6): 54-58, 1980.
-
8WRIGH, P. - Usability: The criterion for designing written information. In: P. A. Kolers et allii (Eds.), Processing visible language, vol. 2. New York, Plenum, 1980.
-
1
(*) Os subsídios obtidos dos dados gerais do levantamento são apresentados no Relatório de Trabalho (Análise e Avaliação de Livros Didáticos de Medicina, apresentado pelo autor ao Escritório da Área V da OPAS, em abril de 1985.
Datas de Publicação
-
Publicação nesta coleção
23 Jul 2021 -
Data do Fascículo
May-Aug 1985
