Resumo:
O autor apresenta um estudo avaliador sobre o desempenho de uma equipe docente numa disciplina. Os propósitos do estudo foram a identificação de características da efetividade no ensino e a apreciação dos efeitos da renovação no estilo de ensino, mediada pela adoção do enfoque de aprendizagem orientada por problemas. A avaliação foi baseada na aferição, pelos estudantes, de características específicas do ensino, tendo-se utilizado um questionário de catorze itens, validados em análise prévia, respondido por turmas sucessivas. Os resultados identificam os itens que contribuem para as discrepâncias entre as expectativas dos estudantes e suas percepções da realidade, em cinco dimensões do ensino. Indicam, principalmente, mudanças significantes e positivas nas percepções dos estudantes, em relação a itens críticos do desempenho docente, associados à renovação na estrutura do ensino. Os achados contribuem para a apreciação da potencialidade da aferição pelos alunos na análise e no aprimoramento da proficiência docente.
Summary:
This work presents an evaluative study of teaching effectiveness on a course taught by a team. The purposes of the study were the analysis of teaching effectiveness and the appraisal of the effects of a change on teaching style entailed by to adoption of the problem-based learning approach. The evaluation was based on student ratings of specific teaching behaviors by consecutive classes. A 14-item questionnaire, previously validated, was used. The findings reveal the items that contribute more to the lag between student expectations and perceptions of reality on five dimensions of teaching behavior. Most of all, they show that positive and significant changes in student perceptions of critical teaching behaviors were associated with the educational renewal. This study contributes information to the appraisal of the potencial role of student ratings in the analysis and development of teaching effectiveness.
Introdução
Estudos recentes, focalizando o ensino médico, têm ressaltado a credibilidade e utilização da aferição da efetividade docente pelos alunos, com finalidades pedagógicas ou administrativas. Os trabalhos de FELETTI44. FELETTI, G.I. et alii. Medical students' evaluation of tutors in a group-learning curriculum. Med. Educ ., Edinburgh, 16(3): 121-26, 1982. e colegas, IRBY,55. IRBY, D.M. Clinical teacher effectiveness in medicine. J. Med. Educ ., Washington, 53(10): 808-15, 1978. STRITTER88. STRITTER, F. et alii. Clinical teaching reexamined. J. Med. Educ ., Washington, 50 (9): 876-82,1975. e colegas identificaram importantes dimensões do desempenho docente, associados à efetividade no ensino, em diferentes cenários educacionais. Noutro trabalho, o presente autor discutiu a validade da seleção de características prioritárias do desempenho docente, em termos de facilitação da aprendizagem, para feitos de verificação da qualidade do ensino.66. SOBRAL, D.T. O papel docente em medicina; avaliação pelos estudantes. R. bras. Educ. Méd., Rio de Janeiro, 7 (1): 9-13, 1983.
Uma questão de interesse é o efeito da alteração no estilo de ensino sobre as percepções dos alunos, na aferição do ensino. Esta questão se relaciona com o possível impacto da aferição do ensino no próprio desempenho docente11. BANDARANAYAKE, R.C. Utilization of feedback from student evaluation of teachers. Med. Educ., Edinburgh, 12(4): 314-20, 1978. e, também, com a natureza da influência desse desempenho na qualidade do aprendizado estudantil.33. FEINSTEIN, E. & LEVINE, H.G. Impact of student ratings on basic science portion of the medical curriculum. J. Med. Educ ., Washington, 55(6): 502-12, 1980.
Neste trabalho, são relatados os dados obtidos na avaliação do desempenho de uma equipe docente numa disciplina integrada pré-clínica - antes e depois da mudança no estilo de ensino, pela adoção do método de aprendizagem orientada por problema.77. SOBRAL, D.T. Integração interdisciplinar no ensino pré-clínico do aparelho digestivo: descrição e avaliação. R. bras. Educ. Méd ., Rio de Janeiro, 7 (3): 137-43, 1983. A avaliação está baseada na aferição sistemática do ensino mediante um questionário padronizado que foi preenchido por trezentos e cinqüenta e cinco alunos de turmas sucessivas do curso, ao longo de 4 anos.
Duas questões de estudo foram colocadas:
-
Que discrepâncias são observadas entre o perfil do ensino (desempenho docente) na situação real e as preferências e expectativas dos alunos?
-
Qual é o impacto da mudança no estilo de ensino nas percepções sobre o desempenho docente?
Métodos
Participantes. A equipe docente, cujo desempenho no ensino foi acompanhado, ministra uma disciplina da fase pré-clínica do Curso de Medicina da Universidade de Brasília. Essa equipe tem seis docentes permanentes e, durante o período de estudo, foi alterada em dois semestres pela substituição transitória de docente licenciado. O desempenho da equipe (variável de resposta), representado por características ou condutas de ensino, foi aferido por 2 anos antes e, por 2 anos depois da renovação no enfoque de ensino. Essa mudança, descrita em trabalho anterior, consistiu na adoção de uma combinação de módulos de aprendizagem baseada em problemas clínicos com a técnica do grupo pequeno, no contexto de um curso interdisciplinar.77. SOBRAL, D.T. Integração interdisciplinar no ensino pré-clínico do aparelho digestivo: descrição e avaliação. R. bras. Educ. Méd ., Rio de Janeiro, 7 (3): 137-43, 1983.
A aferição do desempenho docente (características de ensino) foi realizada por alunos de turmas consecutivas, na conclusão de cada período letivo. Na primeira metade do período de observação (anos 1 e 2), participaram cento e noventa e três alunos (97,4 % dos alunos); na segunda metade (anos 3 e 4), após a mudança no estilo de ensino, participaram cento e sessenta e dois estudantes (98,8% dos alunos). Há equivalência entre os grupos de alunos das duas fases, em termos da distribuição de três fatores: motivação inicial, estilo de aprendizagem e rendimento acadêmico.
Instrumento. O questionário utilizado na aferição do desempenho docente é constituído de catorze itens cuja derivação e significado foram examinados anteriormente.66. SOBRAL, D.T. O papel docente em medicina; avaliação pelos estudantes. R. bras. Educ. Méd., Rio de Janeiro, 7 (1): 9-13, 1983. Esses itens (Tabela I) incorporam cinco fatores ou dimensões do ensino clínico identificados por IRBY55. IRBY, D.M. Clinical teacher effectiveness in medicine. J. Med. Educ ., Washington, 53(10): 808-15, 1978. (organização, proficiência instrutiva, relacionamento, supervisão e vivacidade) e incluem sete prioridades dos estudantes, em termos da contribuição para a aprendizagem.66. SOBRAL, D.T. O papel docente em medicina; avaliação pelos estudantes. R. bras. Educ. Méd., Rio de Janeiro, 7 (1): 9-13, 1983. Cada item consiste numa característica de conduta efetiva, a que se afixa uma escala de resposta, indicando a freqüência da conduta, de 1 (muito raramente) a 5 (habitualmente). Ao aluno cabia indicar, em caráter anônimo, a freqüência percebida na atuação dos docentes em conjunto; essa indicação era registrada na última semana do período letivo, antes da divulgação da menção final. Paralelamente, obteve-se uma indicação da freqüência desejada pelos estudantes em cada característica do desempenho.
Análise. Para cada item e dimensão do desempenho docente, foram comparadas as médias (de pontuação da freqüência) nas duas fases do acompanhamento. A estatística Z foi calculada para apurar a significância das diferenças entre as médias das pontuações.
Resultados
A Tabela I mostra a classificação dos catorze itens do questionário utilizado, em termos de duas categorias: freqüência de conduta efetiva desejada pelos estudantes e dimensões do ensino (agregação dos itens em cinco fatores). A variabilidade das pontuações (médias, em escala crescente de cinco pontos) é reduzida pela agregação dos itens; nesse caso, a relação das médias globais, em ordem decrescente é: organização (4, 63), vivacidade (4, 62), habilidade instrutiva (4, 62), supervisão (4, 59) e relacionamento (4, 42).
A Tabela II resume as variações observadas nas pontuações dos catorze itens na situação real (freqüência percebida de condutas efetivas) e, também, as diferenças registradas, para cada item, entre as duas fases da verificação do ensino. Existem diferenças significantes (p < 0.05) entre as pontuações (médias de freqüência), atribuídas nas duas fases, para nove dos catorze itens. Entre esses nove itens, incluem-se seis das sete condutas prioritárias identificadas anteriormente, a saber: valorizar enfoque de solução de problema; fixar e comunicar objetivos realistas; engajar os alunos em oportunidades de prática; debater aplicações práticas de conhecimentos e habilidades; dar conhecimento rápido e sistemático do desempenho estudantil; conduzir o ensino com entusiasmo e energia66. SOBRAL, D.T. O papel docente em medicina; avaliação pelos estudantes. R. bras. Educ. Méd., Rio de Janeiro, 7 (1): 9-13, 1983.. Por outro lado, três dos cinco itens que não registraram diferenças significantes (Tabela II: itens nos 1, 2 e 12), situam-se entre os que apresentam maior índice de discrepância entre freqüência desejada (Tabela I) e freqüência percebida, na segunda fase (Tabela II).
Para obter uma perspectiva da significação prática dos resultados, calculou-se o grau de diferença positiva - registrada em doze itens - em proporção à mudança potencial. No caso, mudança potencial representa a diferença entre a média de freqüência desejável (Tabela I) e a média de freqüência percebida, na primeira fase (Tabela II: subtraindo-se, da média de freqüência na segunda fase, a diferença registrada). A lista dessas proporções, expressas porcentualmente, é a seguinte: comparar pontos de vista e enfoques divergentes (46%); relacionar os conceitos ministrados com o aprendizado prévio (38%); dar conhecimento rápido e sistemático do desempenho estudantil (35%); permanecer de boa vontade accessível aos alunos (33%); conduzir o ensino com entusiasmo e energia (30%); engajar os alunos em oportunidades de prática (27%); fixar e comunicar objetivos realistas (27%); enfatizar enfoque de solução de problema (25%); debater aplicações práticas de conhecimentos e habilidades (22%); demonstrar genuíno interesse nos alunos como pessoas (17%); identificar e sintetizar pontos importantes (15%) e responder diretamente às questões postas pelo alunos (6%). Ao se agregarem os itens nas dimensões de ensino, verifica-se que as proporções de ganho são da ordem de 30% - com relação à vivacidade, supervisão e habilidade instrutiva - e de 15% para as outras.
A Tabela III mostra a evolução - ao longo do período de 4 anos - nas pontuações de freqüência dos itens agregados nos cinco construtos ou dimensões do ensino. Observou-se uma tendência geral de elevação nas pontuações que, no caso das dimensões de vivacidade, supervisão e habilidade instrutiva, tem nítida relação com a mudança do enfoque de ensino, na segunda metade da série anual. Correspondentemente, essas mesmas dimensões registraram maior percentual de queda (da ordem de 60%) nos índices de discrepância entre pontuações de freqüência desejada e freqüência percebida, do ano inicial para o ano final do estudo. (Índices calculados de dados das Tabelas I e III).
Comentários
Em virtude da consistente adequação do índice de resposta ao questionário, ao longo do período de observação, os dados obtidos podem ser interpretados como uma apreciação válida das percepções dos alunos de Medicina em Brasília sobre o desempenho da equipe docente na disciplina examinada.
Os resultados apresentados permitem identificar diferenças significativas entre as pontuações de freqüência das catorze condutas de ensino, bem como discrepâncias importantes entre pontuações de freqüência desejada e de freqüência percebida. O espectro de diferenças provavelmente reflete o perfil do desempenho da equipe docente, com sua ênfase na dimensão de relacionamento. Os índices de discrepância refletem, além disso, a “pressão” da expectativa estudantil no que tange ao padrão de ensino.
Quanto à elevação nas pontuações de características do desempenho docente, na série temporal de turmas sucessivas, essa tendência pode ser atribuída a duas causas básicas. Primeiro, a elevação pode derivar de alterações nas percepções das turmas sucessivas, seja por mudanças na composição das turmas, ou na reatividade ao ambiente. A possibilidade - de que as percepções dos alunos, em turmas mais recentes, sejam mais favoráveis por motivos intrínsecos - não pode ser excluída, mas carece de apoio. De um lado, não se observou tendência equivalente de alteração na composição global das turmas - antes e depois da mudança no enfoque de ensino - em fatores tais quais motivação inicial, estilo de aprendizagem e rendimento acadêmico. Por outro lado, uma comparação emparelhada com a aferição do desempenho docente em disciplinas congêneres não revelou inclinações similares nas pontuações1 1 *)Comunicação preliminar no XX Congresso Brasileiro de Educação Médica. Ribeirão Preto, 1982. .
Uma causa alternativa, para a elevação nas pontuações, é a mudança real e seletiva no desempenho da equipe docente. Na ausência de treinamento pedagógico específico, essa mudança pode resultar dos efeitos de amadurecimento e acúmulo de experiência, ou da consciência dos resultados do desempenho (embora sem feedback específico e individual), influenciando os integrantes da equipe de modo variado. Outra contribuição, nesse sentido, é a própria modificação na estrutura do ensino - pela adoção de módulos de aprendizagem baseada em problemas - favorecendo o aumento na freqüência de determinadas condutas efetivas. Essa interpretação parece ser apoiada pela seletividade nos incrementas; as elevações observadas não incidiram simplesmente nas características de mais fácil aprendizagem: identificação e síntese de pontos importantes, por exemplo22. BROWN, G.A. & DAINES, J.M. Can explaining be learnt? Some lecturer's view. Higher Educ., Amsterdam, 10 (5): 573-80, 1981.. Refletem, provavelmente, o incentivo da inovação (entusiasmo e energia), o ensino mais centrado no aluno, conforme exemplificado nos itens de supervisão (Tabela II: itens 8, 9 e 10) e o debate sobre avaliação e controle de problemas, refletido nos itens de proficiência instrutiva (Tabela II: itens 11 e 14). Ademais, essa mudança no desempenho docente é compatível com o impacto positivo observado simultaneamente no aprendizado dos alunos, tanto em termos de auto-avaliação77. SOBRAL, D.T. Integração interdisciplinar no ensino pré-clínico do aparelho digestivo: descrição e avaliação. R. bras. Educ. Méd ., Rio de Janeiro, 7 (3): 137-43, 1983., quanto de medidas de rendimento cognitivo (dados não publicados).
Uma implicação pertinente dessas interpretações é a potencialidade de melhoria na efetividade docente, mediante combinações de inovação seletiva na estrutura de ensino, feedback criterioso e individual dos resultados da aferição pelos estudantes e orientação para adestramento específico.11. BANDARANAYAKE, R.C. Utilization of feedback from student evaluation of teachers. Med. Educ., Edinburgh, 12(4): 314-20, 1978.)-(33. FEINSTEIN, E. & LEVINE, H.G. Impact of student ratings on basic science portion of the medical curriculum. J. Med. Educ ., Washington, 55(6): 502-12, 1980.
Em suma, conclui-se que a aferição do desempenho da equipe docente por turmas sucessivas revelou elevação significativa na freqüência de múltiplos itens de conduta efetiva, associada ao impacto da adoção do enfoque de aprendizagem baseada em problemas. Em termos de importância prática, essa mudança expressa uma melhoria parcial na efetividade docente, uma vez que abrange condutas prioritárias (no benefício percebido para a aprendizagem estudantil) e foi, de fato, acompanhada de progresso no rendimento do aprendizado no próprio curso.
Referência bibliográficas
-
1BANDARANAYAKE, R.C. Utilization of feedback from student evaluation of teachers. Med. Educ, Edinburgh, 12(4): 314-20, 1978.
-
2BROWN, G.A. & DAINES, J.M. Can explaining be learnt? Some lecturer's view. Higher Educ, Amsterdam, 10 (5): 573-80, 1981.
-
3FEINSTEIN, E. & LEVINE, H.G. Impact of student ratings on basic science portion of the medical curriculum. J. Med. Educ ., Washington, 55(6): 502-12, 1980.
-
4FELETTI, G.I. et alii. Medical students' evaluation of tutors in a group-learning curriculum. Med. Educ ., Edinburgh, 16(3): 121-26, 1982.
-
5IRBY, D.M. Clinical teacher effectiveness in medicine. J. Med. Educ ., Washington, 53(10): 808-15, 1978.
-
6SOBRAL, D.T. O papel docente em medicina; avaliação pelos estudantes. R. bras. Educ. Méd, Rio de Janeiro, 7 (1): 9-13, 1983.
-
7SOBRAL, D.T. Integração interdisciplinar no ensino pré-clínico do aparelho digestivo: descrição e avaliação. R. bras. Educ. Méd ., Rio de Janeiro, 7 (3): 137-43, 1983.
-
8STRITTER, F. et alii. Clinical teaching reexamined. J. Med. Educ ., Washington, 50 (9): 876-82,1975.
-
1
*)Comunicação preliminar no XX Congresso Brasileiro de Educação Médica. Ribeirão Preto, 1982.
Datas de Publicação
-
Publicação nesta coleção
21 Jul 2021 -
Data do Fascículo
Jan-Apr 1985
