Avaliação do Aproveitamento do Aluno em Nefrologia: Estudo Comparativo entre o Método Expositivo Tradicional e o Método de Aprendizado Baseado em Problemas

Evaluating Student Performance in Nephrology: a Study Comparing Traditional and Problem-based Learning

Resumo:

Este estudo teve como objetivo identificar diferenças no aproveitamento de dois grupos de alunos do Curso Médico da Faculdade de Medicina de Marília aos quais foi aplicada simultaneamente uma mesma prova de testes de múltipla escola. A prova abordou o conteúdo curricular disponível para ambos os grupos imediatamente após o ciclo de estudos sobre a Nefrologia. Participaram alunos do 2^o ano (n = 75) submetidos ao método de Aprendizado Baseado em Problemas (PBL) e alunos do 4^o ano médico em moldes tradicionais (n = 82). A prova foi submetida à aparição de três especialista em Nefrologia, que atribuíram a cada uma das questões uma graduação de intensidade de avaliação de 0 a 3, nas seguintes categorias subjetivas: profundidade, atualidade, capacidade de associação a outras áreas de conhecimento e conotação psicossocial. O aproveitamento médio dos alunos do 2^o ano foi significantemente inferior ao dos quartanistas (p < 0,01). Questões com intensidade alta na categoria atualidade influíram nessa diferenciação (p < 0,025), sugerindo um possível efeito da não utilização de periódicos pelos alunos segudanistas, fato que aponta a necessidade de observar um adequado feedback tutorial tutorial para estudantes do métodos PBL nesse quesitos.

Descritores:
Educação médica; Nefrologia - educação; Aprendizado baseado em problemas - métodos; Tutoria

Abstract:

This study aimed to identify differences between two groups of students at the Mrília Medical School, the first including 2nd-year undergraduates (n = 75) having been exposed to the Problem-Based Learning method (PBL) and the second including 4th-year students exposed to the traditional method. The two groups simultaneously received the same multiple-choice test immediately after completion of their Nephrology course, with comparable curricular contents. The tests were evaluated independently by three Nephrology experts and graded from 0 to 3 based on four different subjective categories: depth of knowledge, whether knowledge is current, ability to relate to other fields of medical knowledge, and psycho-social connotations. Mean performance during the 2nd year was significantly lower than in the 4th year (p < 0.01), especially regarding questions pertaining to current state of knowledge in the field of Nephrology (p < 0.025), suggesting that 2nd-year students make insufficient use of periodicals and indicating the need for adequate tutorial feedback for PBL students on this particular issue.

Descriptors:
Education, medical; Nephrology - education; Problem-based learning - methods; Preceptorship

INTRODUÇÃO

O processo de construção do aprendizado na medicina baseia-se, tradicional e doutrinariamente, no ensino centrado no professor e na aquisição gradual, uma vez que a apresentação dos conhecimentos é direcionada pela exposição de segmentos distintos, encadeados segundo uma proposta educacional previamente estabelecida, que evolui ciclo após ciclo, de forma que a integração seja obtida num momento posterior, em que a própria sedimentação promovida pelo educando é convertida em saber reprodutível.

O aprendizado, dependente das condições de motivação ou auto­estima do educando, submete-se à pressão ou à ameaça de provas ou etapas que, uma vez vencidas, podem não perpetuar o conhecimento de maneira completa ou correlacionada à variedade de saberes contidos na ciência médica. Nota-se, frequentemente, grande falta de motivação em boa parte dos docentes e alunos envolvidos no processo de ensino médico nesses moldes¹.

Ademais, deposita-se no professora total responsabilidade sobre a atualização que deverá ser apresentada, bem como a profundidade, complexidade e repercussão sócio-econômica do tema. Por último, a avaliação aplicada sempre será embasada no conteúdo apresentado, de forma a não frustrar um acordo tácito estabelecido entre docente e discente de só abordar em prova o que foi exposto em aula. Desta maneira, o estudo é concentrado em véspera de prova, quando um grande volume de material é absorvido e a seguir descartado.

Em contraposição, a proposta do ensino por meio do Aprendizado Baseado em Problemas, do inglês Problem-Based Learning (PBL), fundamenta-se no princípio deque a aprendizagem na educação de adultos será tanto maior quanto mais forem trabalhados os conteúdos que puderem ser envolvidos em problemas e situações que o aprendiz tenha previamente experimentado ou cujo emprego na prática cotidiana possa ser utilizado². Desta forma, o estudo pode ser centrado no aluno, que naturalmente se inclina a participar como sujeito ativo neste processo, com suas necessidades, sentimentos, problemas e expectativas, de forma que seja acentuado seu desafio de procurar, pela resolução de um problema médico, a agregação de conhecimentos de maior espectro, sob menores condições de instabilidade e ameaça. Haverá, sim, uma instabilidade na confrontação dos conhecimentos e práticas habituais com as novas propostas e informações que devem ser identificadas pelos sujeitos envolvidos no processo, cujo papel é valorizado e cujos progressos são destacados.

Em trabalho seminal sobre o processo de organização da educação para adultos, Knowles destaca a importância do fornecimento de meios para a busca autodirigida do conhecimento³. A orientação dos adultos para a aprendizagem está centrada em sua vivência, considerando-se que a experiência prévia serve como instrumento facilitador para a aquisição de novos conhecimentos Atende-se, assim, à necessidade intrínseca de nutod1reçno presente em aprendizes adultos, bem como às diferenças individuais entre as pessoas. O professor fica, desta forma, encarregado de participar do processo como um questionador mútuo, ao invés de somente transmitir seu próprio conhecimento e avaliá-lo em seguida.

A Aprendizagem Baseada em Problemas repousa nos pilares da autodireção, da participação em pequenos grupos tutoriais na preocupação com um aprendizado voltado aos interesses da comunidade.

A partir desses princípios que norteiam a aplicação do método PBL, pode-se entender a dimensão de sua contribuição para a formação do médico. Uma vez que a busca de conhecimentos na carreira do médico é um processo continuo ao longo de toda a vida, os estudantes nesse processo são encorajados a definir seus próprios objetivos de aprendizagem e a tomar para si a responsabilidade de avaliar a progresso pessoal em direção aos objetivos formulados. Este posicionamento coincide com o desenvolvimento de uma atitude de autodireção sem auto-indulgência⁴, desenvolvendo a capacidade de reconhecer necessidades educacionais pessoais, de procura de um método pessoal de estudo e de uma adequada utilização da diversidade de recursos educacionais disponíveis.

A expectativa de tal método é de que o aluno seja submetido a problemas que abordem o paciente nos aspectos biológico, psicológico e social, reunindo características que se espero serem fundamentais no desenvolvimento do profissional a ser formado, conhecimento das variáveis socioeconômicas e morbi-mortalidade da clientela-alvo, estrutura da rede de atendimento de saúde, inter-relacionamento com profissionais de outras áreas, participação em atividades de atendimento em grupo, etc. Entende-se que o aluno seja motivado a utilizar e tenha a seu dispor uma ampla variedade de fontes de referência atualizada (Medicine, Lilacs, artigos em periódicos recentes, internet), permitindo-lhe o desenvolvimento e raciocínio critico que facilitará as futuras tomadas de decisão.

Quanto à operacionalização do método PBL, dentre as principais dificuldades em sua aplicação encontram-se aquelas usualmente relacionadas à insegurança por parte dos professores⁵.

Há poucas pesquisas que abordam o método PBL de maneira mais pragmática, enfocando resultados reais de rendimento do aluno. Grande parte delas se refere ao estudo da percepção de alunos e professores envolvidos no método, abordando sobretudo os aspectos da dinâmica tutorial e a utilização de recursos pelos estudantes^6)-(9. As pesquisas que investigaram o aproveitamento cognitivo dos alunos em programas de PBL comparativamente àquele de alunos em programas tradicionais não apresentam resultados consensuais. Alguns autores mostraram haver desempenho equiparado^10),(11),(12. Outros demonstraram que os alunos em regime tradicional presentavam melhor desempenho em exames iniciais, ocorrendo uma vantagem para os alunos no programa PBL nas avaliações ao final do curso^13),(14, ou ressaltaram um desempenho significantemente melhor dos alunos do método PBL em prova de maneira geral^15),(16.

A implantação do método PBL no Curso de Medicinada Faculdade de Medicina de Marilia (Famema) ocorreu em 1997, e desde então estudos foram realizados para o acompanhamento e controle de seus resultados.

De acordo com a experiência de outros cursos na área médica fora do Brasil (principalmente os desenvolvidos na Holanda e no Canadá) e a trajetória da investigação cientifica no campo da educação médica, retratada na literatura, docentes da Famema e pesquisadores do Canadá com experiência no método PBL exploraram as vantagens e dificuldades decorrentes da utilização da nova proposta de ensino daquela instituição^17),(18),(19. Em suas pesquisas, esses estudiosos detectaram a importância da manutenção de uma boa interação entre os membros do grupo nas sessões de tutorias, bem como refletiram e utilizaram os resultados das investigações para o prosseguimento da orientação e treinamento de tutores.

Paralelamente, também foi dado destaque ao uso de fontes de referência de conhecimento médico pelos alunos da Famema. Estudando as características dos usuários da biblioteca nesta comunidade acadêmica a partir da utilização de entrevista como recurso metodológico, pesquisadores demonstraram que, nos dois primeiros anos de experiência do método PBL, os alunos de 1^a e 2^a séries do Curso Médico utilizaram preferencialmente livros-texto, tendo como segunda e terceira opções, respectivamente, a utilização da internet e de periódicos. Com parando o perfil dos alunos do PBL ao dos alunos submetidos ao método tradicional, que na mesma ocasião frequentavam a 3^a e 4^a séries do Curso Médico, os autores apontaram uma paridade na utilização do livro e discrepância na utilização de periódicos²⁰. Os alunos da 2^a série relataram a utilização de periódicos com menor frequência do que os alunos da 4^a série: 56,25% da amostra de alunos da 2^a série e 75% da amostra de alunos da 4^a série indicaram o uso dessa fonte como recurso de aprendizagem. Nesse mesmo estudo, os autores, explorando qual a dificuldade encontrada pelos alunos na utilização dos serviços ou materiais oferecidos pela biblioteca, identificaram que a dificuldade na utilização de periódicos foi citada com maior frequência em comparação com a utilização de livros pelos alunos do PBL.

Considerando a importância de investigar os resultados do método PBL nesse período inicial de experiência da nova proposta, esta pesquisa teve como objeto de estudo o desempenho dos alunos perante a programação curricular oferecida pela Famema.

Em 1999, o Curso de Medicina nessa Faculdade atingiu seu 3°ano de implantação do método PBL (1^a, 2^a e 3^a séries), coexistindo com as três últimas séries (4^a, 5^a e 6ª séries), ainda mantidas segundo o modelo tradicional precedente. Em termos curriculares, duas situações apresentavam semelhança na programação de conteúdo nesse período: alunos da 2^a série (segunda turma do PBL) e alunos da 4^a série (última turma do método tradicional).

Levando-se em conta o conteúdo referente à especialidade Nefrologia, esta investigação teve por objetivo identificar diferenças no aproveitamento desses dois grupos de alunos, explorando as seguintes hipóteses:

1. o amadurecimento e a bagagem de conhecimentos obtidos pelos alunos do 4^o ano conforme-lhes vantagem sobre os do 2^o ano, supondo-se que o método PBL não tenha conseguido suscitar nestes últimos a procura de informações que preencham as diferentes áreas de conhecimento contidas no programa tradicional;

2. alunos do PBL, ao serem estimulados à investigação, tendem a apresentar maior capacidade de aquisição de conhecimentos ou informações atualizadas, mesmo que estas não tenham sido fornecidas pelos professores especialistas;

3. a abordagem psicossocial, determinada como enfoque obriga tório no método PBL, poderia constituir aspecto distintivo de desempenho dos grupos. Neste caso, considera-se que o grupo exposto ao modelo tradicional est aria supostamente em desvantagem, uma vez que se costuma atribuir à abordagem tradicional maior ênfase nos aspectos biológicos, ficando os psicossociais contemplados em disciplinas apresentadas em outros momentos, tais como as de Sociologia, Psicologia, Psiquiatria e Medicina Preventiva.

MÉTODO

Na Faculdade de Medicina de Marília, o método PBL foi introduzido em 1997. Nele, os alunos são divididos em grupos de sete a oito para cada professor tutor, devidamente qualificado segundo o Curso de Qualificação Básico de Tutores. A programação curricular é dividida em ciclos que abrangem conteúdos específicos, com duração média de seis semanas cada, com um calendário completo das atividades em tutoria, práticas em laboratório, Propedêutica Médica e temas que serão apresentados em palestras. Apresentam-se os objetivos básicos de aprendizado do ciclo, que são abordados através de problemas clínicos previamente confeccionados de forma a franquear aos grupos a possibilidade de se abrangerem tanto os aspectos biológicos como os psicossociais.

A cada seqüência de duas sessões tutoriais nos respectivos ciclos, resolve-se um caso-problema, em média. Inicialmente, procede-se à leitura do problema, e todos os estudantes participam da eleição dos principais tópicos necessários à montagem de um conjunto de objetivos, questões ou perguntas que possam abordar o conteúdo de conhecimentos que julgarem fundamentais ou pertinentes ao entendimento do problema, recorrendo oportunamente à intervenção do tutor. Este período denomina-se “tempestade de idéias” (brain storming). De posse das questões formuladas sobre o caso, cada um dos elementos do grupo pesquisará até a próxima sessão tutorial, com livre acesso aos livros­ texto e a outros materiais existentes na biblioteca, tais como acervo de publicações, periódicos e pesquisas na interne e também no laboratório de Morfologia e Fisiologia, Na sessão seguinte, os alunos apresentam e debatemos resultados dos trabalhos desenvolvidos, objetivando a resolução do problema.

Ao término de cada ciclo, são realizadas provas de avaliação da aquisição cognitiva, baseadas na apresentação de casos clínicos com questões relacionadas aos objetivos básicos da programação abrangida.

A estrutura geral para os três anos iniciais do curso médico baseado no modelo PBL é apresentada no Quadro 1.

QUADRO 1
Programação da Faculdade de Medicina de Marília a partir de 1997, com a implantação do método PBL.

1 a Série	2 a Série	3 a Série
Introdução ao estudo da medicina	Sistema cardiovascular	Mente e cérebro
Ataque e defesa	Sistema respiratório	Prática baseada em evidências
Implicações do crescimento celular e diferenciação	Sistema renal	Reprodução e sexualidade
Pele e tecido moles	Sistema diagnóstico	Ciclo eletivo
Locomoção	Sistema hematológico	Nascimento, crescimento e desenvolvimento
Sistema nervoso	Sistema Endocrinológico	Envelhecimento
Interação comunitária	Ciclo eletivo	Introdução às apresentações clínicas
	Interação comunitária Habilidades profissionais	Interação comunitária Habilidades profissionais

Os alunos da 4^a série, em 1999, já haviam passado pelo modelo de curso tradicional. As disciplinas cursadas por esses alunos, com as respectivas cargas horárias, são apresentadas no Quadro 2.

QUADRO 2
Disciplina cursada pelos alunos da 4a série do Curso Médico na Faculdade de Medicina de Marília de 1996 a 1998

Disciplina	Carga horária	Ano em que foi cursada
Anatomia	640	96
Bioestatística	152	96
Bioquímica	200	96
Histologia/Embriologia	360	96
Psicologia médica	40	96
Ciências sociais	40	97
Epidemiologia	80	97
Farmacologia	236	97
Fisiologia	380	97
Genética	70	97
Microimunologia	156	97
Parasitologia	124	97
Patologia geral	116	97
Patologia especial	210	98
Propedêutica	690	98
Saúde coletiva	60	98
Ética médica	40	98
Pronto socorro	40	98
Psicologia médica	100	98

Portanto, no ano de 1999, coincidem no curso de graduação da Faculdade de Medicina, de Marilia duas situações simultâneas: a) alunos da 4^a série, expostos ao modelo tradicional de curso com aulas expositivas, no ciclo de Nefro-Urologia (Quadro 3); b) alunos da 2^a série, expostos ao modelo PBL com programa de conferências e tutorias no ciclo de Nefro-Urologia (Quadro 4).

Comparativamente, no que diz respeito à programação de conteúdo referente às especialidades de Nefro-Urologia, os temas abordados foram comuns aos dois grupos, como se pode observar nos Quadros 3 e 4.

QUADRO 3
Ciclo de Nefro-Urologia para o 4º ano médico em 1999

Período de aula	Carga horária	Professor especialista	Tema
1	4	Nefrologista	Função renal
2	4	Nefrologista	Metabolismo água e sódio
3	4	Nefrologista	Equilíbrio ácido básico
4	4	Nefrologista	Metabolismo do potássio
5 Grande Tema	4	Nefrologista	Reposição volêmica básica
		Anestesista	Reposição em cirurgia
		Intensivista	Reposição no choque
		Cirurgião plástico	Reposição no queimado
6	4	Nefrologista	Fisiopatologia e tratamento clínico da litíase
		Urologista	Aspectos cirúrgicos da urolitíase
7	4	Nefrologista	Insuficiência renal aguda
8	4	Nefrologista	Insuficiência renal crônica
9	4	Nefrologista	Síndrome nefrítica esíndrome nefrótica
10	4	Nefrologista	Avaliação do nefropata
11	2	Nefrologista	Infecção urinária
12	2	Urologista	Infecção urinária complicada
14	2	Nefrologista	Fisiopatologia da hipertensão arterial
15	2	Cardiologista	Tratamento da hipertensão
	Total-48 horas

QUADRO 4
Programação de tutorias do ciclos renal para alunos do segundo ano médico em 1999

Sessões tutoriais	Problemas (casos fictícios)	Horas/tutoria	Tema abordado
1	“Luciano Nogueira”	4	Síndrome nefrótica
2	Idem	4	Síndrome nefrótica
3	Idem	4	Insuficiência renal crônica Transplante
4	“Juliana Sarmento”	4	Síndrome nefrítica
5	Idem “Hermenegildo Fonseca”	4	Síndrome Nefrítico Insuficiência renal aguda
6	Idem “Rosa Maria”	4	Insuficiência renal aguda Litíase/infecção urinária
7	Idem	4	Litíase/infecção urinária
	“Tatiana Nascimento”		Enuress Refluxo vésico-uretreral
8	Idem “Diogo Peres”	4	Enurase Refluxo vésico uretreal
			Hipertensão arterial Diabetes Nefropatia diabética
9	Idem	4	Nefropatia diabética
10	Prova	Total: 36 horas

A carga horária apresentada no Quadro 3 refere-se ao período disponível para as aulas expositivas, ficando a critério de cada professor programar o tempo de aula e os intervalos de descanso. Pode-se afirmar que o tempo médio dessas aulas abrange dois terços do período estipulado. A programação de cada aula é de inteira responsabilidade do docente, não havendo necessariamente um planejamento da extensão e teor dos temas abordados.

A programação de tutorias do ciclo renal apresentada no Quadro 4 inclui conteúdo de aulas práticas obrigatórias sobre urinálise e clearance de creatinina, ministradas no laboratório de Fisiologia. Integram também a programação curricular conferências com duração de duas horas-aula sobre:

1. mecanismos de agressão do aparelho urinário;

2. incontinência urinária;

3. abordagem multidisciplinar e multiprofissional da hipertensão arterial sistêmica;

4. assistência ao paciente com doença crônica do aparelho urinário;

5. reposição parenteral.

Além desse conteúdo, a programação, em 1999, foi complementada com conferências extracurriculares casualmente ocorridas à mesma época, em dois eventos com freqüência opcional: palestra sobre hipertensão arterial: controle e redução da mortalidade; e Jornada da Liga de Hipertensão Arterial da Faculdade de Medicina de Marília.

Para avaliar o aproveitamento dos alunos, utilizou-se uma prova com 40 questões formuladas de acordo com os critérios de elaboração de provas com testes múltipla escolha²¹. O conteúdo incluiu conhecimentos sobre fisiologia renal, composição e regulação dos fluidos corporais, doenças glomerulares, fisiopatologia e tratamento da hipertensão arterial e insuficiência renal, cada um deles apresentado em casos clínicos específicos, acompanhados das respectivas questões, conforme exemplificado a seguir.

Caso Clínico

Paciente masculino, de 6 anos de idade, após dor de garganta há dez dias, apresentou quadro súbito de urina escura e inchaço progressivo, sendo levado à noite ao Pronto Socorro. Examinado, apresentava pressão arterial de 130 x 90 mmHg, edema periorbitário e de membros inferiores, frequência cardíaca de 60 batimentos/minuto.

Duas do Total de Questões Sobre o Caso Clínico:

1 - Dos exames laboratoriais abaixo, qual você considera absolutamente necessário realizar para o diagnóstico de glomerulonefrite difusa aguda exsudativa:

a - Complemento sérico;

b - Antiestreptolisina O;

c - Biópsia renal;

d - Ultra-sonografia renal;

e - Cultura de germes de orofaringe.

2 - Dos achados unários abaixo, qual você considera especifico para identificar glomerulonefrite?

a - Hematúria macroscópica;

b - Proteinúira acima de 3,5 gramas/dia;

c - Proteinúria abaixo de 3,5 gramas/dia;

d - Cilindros hemáticos;

e - Densidade urinária alta e baixa excreção de creatinina.

Responderam à prova 75 alunos do 2º ano submetidos ao programa PBL, cuja participação ocorreu em situação de exercício, não valendo nota curricular, e 82 alunos do 4º ano médico submetidos ao programa de ensino tradicional, cuja participação ocorreu em situação convencional de avaliação de aproveitamento. Essa diferente situação de exposição dos alunos à prova não constitui viés metodológico, uma vez que o procedimento respeitou as exigências do modelo de ensino tradicional e ocorreu em conformidade com as características do método PBL, que estimula o aluno a estudar e pesquisar diariamente os temas abordados em tutorias, independentemente do cronograma de aplicação de provas.

Para validar a prova como instrumento de coleta de dados, as 40 questões foram apreciadas por três juízes, especialistas em Nefrologia. Os juízes indicaram o grau de intensidade com que cada uma das questões abordava o conhecimento do aluno acerca do tema enfocado. Nessa exploração, cada questão foi analisada segundo quatro enfoques que se constituíram em quatro categorias não excludentes de abordagem do conhecimento: profundidade, atualidade, capacidade de associação e conotação psicossocial.

A descrição dessas categorias apresentada aos juízes foi a seguinte:

1. Profundidade: a resposta correta a esta questão revela que a informação retida pelo aluno atingiu um grau de complexidade comparável à de um especialista na área;

2. Atualidade: a resposta correta a esta questão revela que a informação retida pelo aluno foi obtida por utilização de fonte recente de informação;

3. Capacidade de associação: a resposta correta a esta questão revela que a informação retida pelo aluno corresponde a uma clara associação com conhecimentos em outras áreas da medicina;

4. Conotação psicossocial: a resposta correta a esta questão revela que a informação retida pelo aluno corresponde a uma clara preocupação com a associação do problema às questões psicológicas ou sociais de nossa comunidade.

A indicação da intensidade da questão em relação a cada uma das quatro categorias ocorreu de maneira independente e segundo uma codificação previamente estabelecida, a qual delimitava 4 graus (0,1,2,3) de poder de avaliação da questão em ordem crescente de intensidade. A descrição dessa escala apresentada aos juízes foi a seguinte:

1. Intensidade 0: a questão não contempla a categoria;

2. Intensidade 1: a questão contempla a categoria com intensidade fraca;

3. Intensidade 2: a questão contempla a categoria com intensidade moderada:

4. Intensidade 3: a questão contempla a categoria com intensidade alta.

O poder de avaliação de cada questão nas respectivas categorias foi representado pela média, arredondada para inteiro, dos graus de intensidade indicados pelos três juízes.

A comparação do aproveitamento entre os dois grupos de alunos foi realizada por meio de teste de diferenças entre as médias das notas dos dois grupos (estatística “t”).

A associação da distribuição de erros e acertos, por questão, entre os dois grupos foi analisada pela prova do Qui-Quadrado.

A influência da intensidade e das categorias sobre a distribuição de erros e acertos entre os grupos foi analisada por meio das provas de Fisher e Qui-Quadrado.

O valor crítico de significância adotado no estudo para rejeição da hipótese de igualda de foi estabelecido em 5%.

RESULTADOS

Na Análise da apreciação dos juízes, conforme o critério apresentado anteriormente, todas as categorias foram contempladas com intensidade alta e moderada na abordagem do conhecimento: com intensidade alta, sob ressaiu a categoria atualidade, e com intensidade moderada, a categoria profundidade (Tabela 1).

TRABELA 1
Distribuição das questões de prova quanto à intensidade de avaliação nas diferentes categorias

Intensidade	Categorias
	Profundidade	Atualidade	Capacidade de Associação	Conotação Psicossocial
Alta	5 (12,5%)	16 (40%)	8 (20%)	2 (5%)
Moderada	33 (82,5%)	24 (60%)	28 (70%)	4 (10%)
Fraca	2 (5,0%)	0	4 (10%)	24 (60%)
Nula	0	0	0	10 (25%)
Total de questões	40	40	40	40%

Constatou-se que, das 40 questões da prova, 20avaliaram o conhecimento com intensidade alta em pelo menos uma categoria e 20, com intensidade moderada em duas ou mais categorias. Nessa medida, pode-se dizer que a prova foi bastante exigente na avaliação do conhecimento dos alunos. Tal rigor ficou aparente na análise do desempenho médio alcançado pelos dois grupos de alunos. A nota média dos dois grupos ficou abaixo de 5, numa escala de variação de 0 a 10. Os alunos da 2ª série alcançaram nota média de 3,44 ± 1,01 pontos, e os alunos da 4ª série, 4,73 ±1,14 pontos. As notas médias, segundo comparação obtida pela estatística “t”, foram significantemente diferentes (p <0,01), podendo-se, portanto, concluir que a nota média dos alunos da 4ª série foi superior à nota média dos alunos da 2ª série.

Identificaram-se 23 questões nas quais a distribuição de frequência de erros e acertos, segundo a prova de Qui-Quadrado, foi significante· mente diferente entre os grupos (5 questões com p <0,05; 3 com p <0,02; 3 com p <0,01; 12 com p <0,001). Os alunos da 4ª série obtiveram maior frequência de acertos do que os da 2ª série em 21 questões, enquanto estes apresentaram melhor desempenho em 2questões. Dessas 23questões que discriminaram os grupos, 12 não apresentaram intensidade alta em nenhuma categoria, 3 apresentaram intensidade alta nas categorias atualidade e capacidade de associação, e 8 apresentaram intensidade alta somente em atualidade.

Analisando isoladamente cada categoria de abordagem do conhecimento, observou-se que, somente na avaliação do conhecimento em profundidade, o grau de intensidade da questão influiu na diferenciação de desempenho entre os dois grupos de alunos (Tabela 2). Nenhuma das questões com Intensidade alta nessa categoria diferenciou significantemente os grupos, e, de um total de 35 questões sem intensidade alta, 23 diferenciaram os grupos. Portanto, nenhuma das questões que diferenciaram os grupos apresentava intensidade alta na categoria profundidade.

TABELA 2
Significância da diferença de desempenho entre os dois de alunos, considerando-se a intensidade das questões na avaliação do conhecimento na categoria profundidade

Questões	Significância da diferença de desempenho entre os dois grupos
	Diferença significante	Diferença não significante	Total
Com intensidade alta em profundidade	0	5	5
Sem intensidade alta em profundidade	23	12	35
Total	23	17	40

• Prova de Fisher: p 0,01

Acrescentando-se aos resultados encontrados o fato de que os alunos de 2ª série obtiveram melhor desempenho somente em duas questões sem intensidade alta, entendeu-se que a superioridade da nota média obtida pelos alunos de 4ª série poderia também ser devida ao acúmulo de mais de uma categoria com intensidade alta numa mesma questão.

Ainda com o propósito de caracterizar a diferença significante de desempenho entre os grupos e trabalhando apenas com as 20 questões que apresentaram intensidade alta, constatamos que o grau alto de intensidade de medida do conhecimento do aluno numa ou em mais de uma categoria não figurou como fator de influência significante na diferenciação de aproveitamento entre os grupos (Tabela 3). De 13 questões que apresentavam intensidade alta numa única categoria, 9 acusaram diferença significante de desempenho entre os grupos, e 4 não acusaram diferença significante entre os alunos de 2ª e os de 4ª série. Das 7 questões que apresentavam intensidade alta em duas ou mais categorias, 2 acusaram diferença, significante de desempenho entre os dois grupos, e 5 não os diferenciaram significantemente. Portanto, a proporção com que as questões de intensidade alta numa única categoria acusaram diferença significante e não significante de desempenho entre os dois grupos de alunos não foi diferente da proporção alcançada pelas questões com intensidade alta em mais de uma categoria. Nota-se, porém, que existiu uma tendência de a diferença significante de desempenho entre os grupos ocorrer perante questões com intensidade alta numa única categoria: de um total de 11 questões que acusaram diferença significante entre os grupos, 9 apresentavam intensidade alta em apenas uma categoria.

TABELA 3
Significância da diferença de desempenho entre os dois grupos de alunos, considerando-se o acúmulo de mais de uma categoria com intensidade alta numa mesma questão

Questões	Significância da diferença de desempenho entre os dois grupos
	Diferença significante	Diferença não significante	Total
Com intensidade alta numa única categoria	9	4	13
Com intensidade alta em duas ou mais categorias	2	5	7
Total	11	9	20

• Qui-quadrado = 1,618; p > 0,05

Assim, cada categoria foi analisada separadamente, considerando-se dois tipos de classificação, questões com intensidade alta somente na categoria enfocada e questões com intensidade alta nessa e em outra(s) categoria(s). Nessa análise, obteve-se que a hipótese de igualdade na distribuição das questões só pode ser rejeitada para a categoria atualidade (Tabela 4). Dentre as 16 questões que avaliaram o conhecimento do aluno com alta intensidade neste quesito, 10 acusaram diferença significante entre os grupos com vantagem para os alunos do 4ª ano. Destas, 8 apresentavam intensidade alta somente em atualidade. Dentre as 6 questões que não acusaram diferença significante de desempenho entre os grupos, 5 apresentavam intensidade alta em atualidade e em outra(s) categoria(s). Portanto, constata-se que as questões com intensidade alta somente em atualidade, com maior frequência do que as questões com intensidade alta em atualidade e em outra(s) categoria(s), acusaram diferença significante de desempenho entre os grupos. Assim, o fato de a questão apresentar intensidade alta somente em atualidade ou intensidade alta em atualidade e em outra(s) categoria(s) influiu na diferenciação dos dois grupos de alunos.

TABELA 4
Significância da diferença de desempenho entre os dois de alunos, considerando-se as questões que avaliaram o conhecimento com alta intensidade na categoria atualidade

Questões	Significância da diferença de desempenho entre os dois grupos
	Diferença significante	Diferença não significante	Total
Com intensidade alta somente em atualidade	8	1	9
Com intensidade alta em atualidade e em outra(s) categoria(s)	2	5	7
Total	10	6	16

• Prova de Fisher: p < 0,05

Diante dos resultados apresentados neste estudo, a diferença significante de desempenho entre os alunos de 2ª e 4ª séries pode ser atribuída às questões que avaliaram o conhecimento deles na categoria profundidade com intensidade moderada e na categoria atualidade com intensidade alta.

DISCUSSÃO

Considerando que as principais fontes de informação nas categorias profundidade e atualidade são respectivamente livros-texto e periódicos, os resultados apontados nesta investigação reiteram e complementam outros já encontrados²⁰. Isso porque aqueles autores, trabalhando simultaneamente com os mesmos participantes desta pesquisa, identificaram a maior dificuldade do aluno de 2ª série (modelo PBL) em comparação ao aluno de 4ª série (modelo tradicional) no uso de periódicos e a semelhança de hábitos no uso de livros-texto entre as duas turmas²⁰. Portanto, a diferença de desempenho entre os alunos do 2º e os do 4º ano, constatada neste estudo, pode ser devida à diferença na utilização de fontes de informação, evidenciada naquele. Assim, parece haver relação entre a tendência de uso de fontes de informação pelos alunos e seu rendimento na prova.

Os efeitos da tendência dos alunos na utilização de fonte de informação se evidenciam neste estudo sob dois aspectos. A maior dificuldade dos alunos do PBL na utilização de periódicos em relação aos alunos do modelo tradicional, por exemplo, parece ter colaborado para o melhor desempenho destes últimos em questões com grande exigência de conhecimento atualizado. Essa dificuldade dos alunos de 2ª série, entretanto, parece ter sido por eles superada perante questões que apresentavam intensidade alta não apenas nessa, mas também em outra(s) categoria(s), uma vez que nessa situação prevaleceu o tendência de não diferenciação dos dois grupos (Tabela 4). Sendo assim, pode-se sugerir que os alunos de 2ª série exercitaram com êxito a habilidade de associação de conhecimentos. Ademais, o fato de os alunos do PBL terem hábito semelhante ao dos alunos do modelo tradicional na utilização de livros-texto parece ter propiciado o nivelamento de desempenho das duas turmas em questões que abordaram o conhecimento em profundidade com alta intensidade de medida, apesar do menor tempo de experiência e de curso dos primeiros.

A diferença significante de desempenho entre os alunos possivelmente decorre de uma grande diversidade de variáveis não controladas neste estudo. Contudo, a descrição do aproveitamento dos alunos a partir dos fatores destacados nesta pesquisa permite o reconhecimento de implicações importantes do m todo, em sua fase inicial de implantação.

Este estudo evidencia claramente em quais situações os alunos de 2ª série não conseguiram o mesmo desempenho dos alunos de 4ª série. Dentre os variáveis analisadas, as categorias profundidade e atualidade tiveram particular importância para a diferença de aproveitamento entre os dois grupos de estudantes, dependendo do grau de intensidade com que abordaram o conhecimento do aluno. Tais achados permitem responder, ainda que num plano mais sugestivo do que conclusivo, às três hipóteses exploradas nesta investigação.

A experiência repercutiu favoravelmente sobre o desempenho dos alunos de 4ª série, uma vez que, com maior frequência do que os alunos de 2ª série, eles responderam corretamente às questões que na categoria profundidade apresentaram intensidade de medida moderada, bem como às questões que na categoria atualidade apresentaram alta intensidade de medida. Esses dados sugerem que o amadurecimento e a bagagem de conhecimentos obtidos pelos alunos de 4ª série lhes conferiram vantagem sobre os de 2ª série naquelas questões que na categoria profundidade envolveram informação difusa ou trivial, bem como nas que requereram a utilização de fonte de informação atualizada na área da especialidade nefrológica, fatos estes que devem ser considerados na formulação de avaliações comparativas.

O método PBL estimula os alunos ao levantamento de informação médica, pois, apesar da desvantagem dos alunos de 2ª série em relação à experiência dos alunos de 4ª série, não se constatou diferença significante de desempenho entre os dois grupos perante questões que mediram o conhecimento na categoria profundidade com alta intensidade. Também não se observou diferença significante entre os grupos com relação à capacidade de associação de conhecimentos entre diferentes áreas da medicina. Nas duas situações, o nível de competência dos alunos de 2ª série foi semelhante ao dos alunos de 4ª série, apesar da desvantagem de tempo de experiência dos primeiros.

Quanto à abordagem psicossocial, esta variável não se apresentou como um elemento diferenciador dos dois grupos de estudantes. Além disso, foi a categoria na qual a prova foi menos exigente em termos de intensidade de avaliação, talvez porque se trate de algo que deva ser explorado através de outra abordagem metodológica, como, por exemplo, através de método de observação em situação prática de intervenção ou de um outro modelo de prova.

A diferença significante de desempenho entre os grupos diante de questões que mediram o conhecimento do aluno com intensidade moderada na categoria profundidade e com intensidade alta na categoria atualidade pode sinalizar problemas relacionados à função tutorial.

Estudos recentes^22),(23 demonstraram que, na opinião de estudantes e tutores, a perícia destes últimos na aplicação do método PBL é de fundamental importância, e sob essa perspectiva algumas considerações podem ser apresentadas em termos de relações causais dos resultados que indicaram pior rendimento dos alunos de 2ª série. Pode-se entender que a dificuldade desses alunos seja decorrente de falhas no uso de feedback durante as sessões de tutorias. Nessa direção, sugerimos duas interpretações acerca do pior desempenho dos alunos de 2ª série, a primeira levando em conta os testes que avaliaram o conhecimento em profundidade com intensidade moderada e a outra relativa aos testes que avaliaram o conhecimento atualizado com intensidade alta: a) tutores e estudantes podem ter subestimado a importância do feedback diante de conteúdo julgado por eles como de fácil compreensão ou trivial; b) tutores podem enfrentar dificuldades no estabelecimento de feedback perante conteúdo n o relacionado sua área de especialização, e, dessa forma, a orientação, no que diz respeito à fonte de informação atualizada, pode constituir um problema operacional do método.

Considerando tais possibilidades, os resultados encontrados neste estudo confirmam a importância do uso de feedback para o sucesso do método, reforçando a indicação, já apontada em estudos anteriores, sobre a necessidade de oferecer treinamento adequado em feedback, diante da alta freqüência com que tutores e estudantes apontaram o feedback como um importante e frequente problema da função do grupo tutorial²⁴.

Há que considerar também a possibilidade de posterior reaplicação da prova utilizada neste estudo em anos subsequentes de turmas em PBL, de maneira a contemplar o efeito de aquisição cognitiva a médio e longo prazos, conforme mencionado em estudos já apontados.

Finalmente, destacamos que os aspectos apontados nesta conclusão retratam parte de uma realidade em que a experiência tutorial para a operacionalização do método PBL se encontrava em processo de aperfeiçoamento, não podendo, portanto, ser concebidos como indícios estáveis do comportamento docente e discente. Devem, sim, ser reconhecidos como elementos que merecem atenção e vigilância na aplicação do método PBL, a fim de se evitara influência de condutas e valores adquiridos na vivência do modelo de ensino tradicional.

Agradecimentos

Este estudo contou com os seguintes colaboradores, Dr. Roberto Guzzardi, médico especialista em Nefrologia; Dr. José Cícero Guilhen, docente da Faculdade de Medicina de Marília e médico especialista em Nefrologia; Dr. Maurício Braz Zanolli, docente da Faculdade de Medicina de Marília, médico especialista em Nefrologia e Mestre em Educação Médica pela Universidade Maastrich, Holanda; Dra. Valéria Vernaschi Lima, médica e docente da Faculdade de Medicina de Marília; Prof. Dr. Sadao Omote, Professor Titular do Departamento de Educação Especial da Unesp - Marília.

REFERÊNCIAS BIBLIOGRÁFICAS

• ¹
  Bordenave JD, Pereira AM. Estratégias de ensino-aprendizagem. 4. ed. Petrópolis, RJ: Vozes, 1982. p.164-7.
• ²
  Knowles, MS. Self direct learning: a guide for learners and teachers. part II. New York: Association Press, 1975.
• ³
  Knowles, MS. The Modem Practice of Adult Education. New Jersey, Prentice Hall, 1980.
• ⁴
  Ramsdale, H (Org.) Vademecum. Unit 1 Handbook. Hamilton: McMaster University,1996. p.11.
• ⁵
  Barrows HS, Tamblyn RM. Problem-based learning: an approach to medical education. New York: Springer Publishing Company, 1980.
• ⁶
  Tipping J, Freeman RF, Rachlis AR. Using faculty and student perceptions of group dynamics to develop recommendations for PBL training. Acad. Med. 1995; 70: 1050-2.
• ⁷
  Hitchcock MA, Anderson AS. Dealing with dysfunctional tutorial groups. Teach. Learn. Med. 1997; 9: 19-24.
• ⁸
  Kaufman DM, Holmes DB. Tutoring in problem-based learning, perceptions of teachers and students. Med. Educ. 1996; 30: 371-7.
• ⁹
  Venturelli J. Educación médica: nuevos enfoques, metas y métodos. Washington: Organization Panamericana de la Salud, 1997. 295p.
• ¹⁰
  Phelan ST, Jackson JR, Berner ES. Comparison of problem-based and traditional education on student performance in the obstetrics and gynecology clerkship. Obstet. Gynecol. 1993; 82: 159-61.
• ¹¹
  Login GR, Ransil BJ, Meyer M, Truong NT, Donoff RB, McArdle PJ. Assessment of preclinical problem-based learning versus lecture-based learning. J. Dent. Educ. 1997; 61: 473-9.
• ¹²
  Steele DJ, Medder JD, Turner P. A comparison of learning outcomes and attitudes in student-versus faculty-led problem-based learning: an experimental study. Med. Educ . 2000; 34: 23-29.
• ¹³
  Mennin SP, Friedman M, Skipper B, Kalishman S, Snyder J. Performances on the NBME I, II and III by medical students in the problem-based learning and conventional tracks at the University of New Mexico. Acad. Med . 1993; 68, 616-624.
• ¹⁴
  Vernon DT, Blake RL. Does problem-based learning work? A meta-analysis of evaluative research. Acad. Med . 1993; 68: 550-563.
• ¹⁵
  Schwartz RW, Donnelly MB, Nash PP, Johnson SB, Young B, Griffen WO Jr. Problem-based learning: an effective educational method for a surgery clerkship. J. Surg. Res. 1992; 53: 326-330.
• ¹⁶
  Doucet MD, Purdy RA, Kaufman DM, Langille DB. Comparison of problem-based learning and lecture format in continuing medical education on headache diagnosis and management. Med. Educ . 1998; 32: 590-596.
• ¹⁷
  Komatsu RS, Zanolli MB, Lima VV. Aprendizagem baseada em problemas. In: Marcondes E, Gonçalves EL (Eds.). Educação Médica. São Paulo, Savier, 1998. p.223-37.
• ¹⁸
  Komatsu RS, Venturelli J, Lima VV, Zanolli MB, Silva RF, Padilha RQ. A new MD curriculum at Faculty of Medicine of Marília. A two years of experience in the process of change towards an integrated, student centered, problem-based learning, and community-oriented program, A case study. In: Conway J, Melville D, Willians A (Eds.), Research and development in problem-based learning. PBL a way forward. Newcastle: Newcastle Camera Print, 1999, p. 135-43.
• ¹⁹
  Komatsu RS, Zanolli MB, Lima VV, Branda LA, Padilha RQ . Guia do processo de ensino e aprendizagem. Marília, SP: Marília Medical School, 1999.
• ²⁰
  Puga MES, Santana A, Nunes VS, Amaral FCF, Leber A. Perfil dos usuários da biblioteca da Faculdade de Medicina de Marília: estudo comparado frente a duas metodologias de ensino, ABP - Aprendizagem Baseada em Problema e Tradicional. In: Congresso Brasileiro de Educação Médica, 37, 1999. Resumos... Brasília: Associação Brasileira de Educação Médica, 1999. p.133.
• ²¹
  Linn RL, Gronlund NE. Measurement and assessments in teaching. 7.ed New Jersey: Prentice-Hall, 1995. Cap. VII.
• ²²
  Maudsley G. Roles and responsibilities of the problem-based learning tutor in the undergraduate medical curriculum. Br. Med. J. 1999; 318: 657-661.
• ²³
  Neville AJ. The problem-based learning tutor: Teacher? Facilitator? Evaluator? Med. Teach. 1999; 21 393-401.
• ²⁴
  Zanolli MB. Importance, frequency and responsibility of main problems in tutorial group functional Marilia Medical School: a survey from tutors, second ant third medical students [dissertação] Maastricht (Holanda): Faculty of Health Sciences, University of Maastricht. 2000. 62p.

Datas de Publicação

• Publicação nesta coleção
  28 Jun 2021
• Data do Fascículo
  Sep-Dec 2001

Histórico

• Recebido
  29 Mar 2001
• Revisado
  03 Ago 2001
• Aceito
  22 Out 2001