“Nota de Conceito Global” na Avaliação da Performance do Interno de Medicina: uma Oportunidade Desperdiçada

“Global Rating Scale” in the Evaluation of the Academic Achievement of the Medical Student: a Wasted Opportunity

Resumo:

Introdução:

Possuir diploma de médico é o suficiente para o exercício profissional na maioria dos estados brasileiros. A avaliação do desempenho do aluno pelas escolas médicas é, certamente, o mais importante filtro de proficiência profissional em vigência. Assim, é fundamental a utilização de instrumentos de avaliação adequados. Competência é o conjunto de conhecimentos, habilidades e atitudes que permitem uma prática médica de excelência. Diferentemente, performance pode ser definida como o que o indivíduo realmente produz em seu cotidiano. O internato é uma inigualável oportunidade para o acompanhamento preciso dos atributos esperados de um estudante em formação. Quando avaliamos a competência, buscamos medir o quanto o aluno sabe, concebe ou realiza procedimentos em um contexto objetivo de avaliação. Performance é o que efetivamente o indivíduo utiliza de suas competências. Há, portanto, uma maior dificuldade de avaliar performance, pois motivação, disciplina, condições físicas e psíquicas, e outros aspectos vivenciais estão em jogo. Além disso, é necessária uma avaliação constante, o que implica acompanhamento e monitoramento próximos. A Nota de Conceito Global (NCG) é uma das modalidades que permitem, não obstante sua implícita subjetividade, avaliar o desempenho do aluno/estagiário. Para isso, é estratégico que seja construída por meio de nomenclatura padronizada, parâmetros definidos que possibilitem quantificação, levando em conta diferenças existentes entre os diversos projetos políticos pedagógicos. Pela heterogeneidade dos estágios, diferentes contextos da prática da medicina e grande número de sujeitos envolvidos seriam os critérios estabelecidos para a constituição da NCG devidamente padronizados e adequados para avaliar alunos no internato?

Método:

Neste trabalho, estudamos, por meio dos planos de ensino, como a NCG está estruturada na avaliação de internos de uma instituição e o que pode ser aperfeiçoado e contribuir para o conhecimento do assunto.

Resultados:

Constatamos que a NCG compõe 30% (quinto ano) e 40% (sexto ano) da Nota Global do Aluno (NGA), que corresponde a uma nota única ao final de cada ano de graduação e leva em conta o desempenho e a carga horária das disciplinas. Adicionalmente, avaliamos os termos utilizados como critérios a serem utilizados para a NCG. A análise dos planos de ensino mostrou que a NCG se mostrou irregular e sem padronização institucional entre as disciplinas; há uma ausência de uniformidade na composição da nota final ou nos critérios a serem avaliados, bem como na aplicação diferenciada dos itens em cada cenário de aprendizado.

Conclusões:

A falta de uma metodologia uniforme impede o acompanhamento do aluno de forma global, inclusive o quanto a cultura e os valores institucionais poderiam influenciar o desempenho estudantil. Perde-se a oportunidade de realizar uma avaliação efetivamente construtiva. Contudo, a NCG, pela sua natureza subjetiva, poderia, se adequadamente aplicada, ser instrumento fundamental para o diálogo entre professores e alunos em uma avaliação formativa. Dessa forma, pela inserção inadequada, dentro de uma avaliação somativa, perde-se uma grande oportunidade de crescimento do aluno e da própria instituição.

Palavras-chave:
Avaliaçمo Educacional; Internato e Residência; Análise e Desempenho de Tarefas

Abstract:

Introduction:

Having a medical degree is enough documentation for professional practice in most Brazilian states. In fact, the evaluation of academic achievement by medical schools is certainly the most important filter of professional proficiency. Thus, the use of appropriate assessment instruments is essential. Competence is the set of knowledge, skills and attitudes that enable a medical practice of excellence. Differently, Performance can be defined as what the individual actually produces in their daily lives. The internship is the best opportunity for the precise monitoring of the expected achievements of a student in training. When we evaluate competence, we seek to measure how much the student knows, conceives or performs procedures, in an objective evaluation context. Performance is what the individual effectively uses of their skills. There is, therefore, a greater difficulty in evaluating performance, since motivation, discipline, physical and psychic conditions, as well as other experiential aspects are involved. In addition, continuous assessment is required, which implies close monitoring. The “Global Rating Scale” (GRS) is one of the modalities that allows, despite its subjectivity, evaluating the performance of the intern student. For that purpose, it is strategic that it be constructed through standardized nomenclature, defined parameters that allow the quantification, considering the differences between several pedagogical political projects. Due to the heterogeneity of the different settings of the practice of medicine, and the large number of subjects involved, would the criteria established for the structuring of the GRS be properly standardized and adequate to evaluate medical internship students?

Method:

In this work, we study, through the teaching plans, how GRS is structured in the evaluation of students of an institution regarding practical activities, and what can be improved and contribute to the knowledge on the subject.

Results:

We find that the GRS comprises 30% (fifth year) and 40% (sixth year) of the Student Global Rating (SGR), which corresponds to a single grade at the end of each graduation year and takes into account the performance and the workload of disciplines. Additionally, we evaluate the terms used as criteria to be used for the GRS. The analysis of the Teaching Plans showed that the GRS was irregular and lacked institutional standardization among the Disciplines; there is an absence of uniformity regarding the composition of the final grade or in the criteria to be evaluated, as well as in the differentiated application of the items in each learning scenario.

Conclusion:

The lack of a uniform methodology precludes an overall student follow-up, including how much culture and institutional values could influence student performance. The opportunity to conduct an effectively constructive evaluation is lost. On the other hand, the GRS, considering its subjective nature, could, if properly applied, be a fundamental instrument for the dialogue between teachers and students in a formative evaluation. Thus, due to inadequate inclusion, within a summative evaluation, a great opportunity for development of the student, as well as of the institution, is wasted.

Keywords:
Educational Measurement; Internship and Residency; Task Performance and Analysis.

INTRODUÇÃO

Com o crescente número de escolas de Medicina no nosso país, há certa pressão pelas entidades de representação médica para que a avaliação da proficiência para médicos recém-formados se torne obrigatória¹. As altas taxas de reprovação dos participantes no exame do Conselho Regional de Medicina do Estado de São Paulo - Cremesp (35,4% em 2018)², aplicado anualmente para recém-formados nas instituições de ensino privado e público do estado de São Paulo, podem servir de alarme para a população se questionar sobre a capacitação desses novos egressos. Críticas frequentes quanto à aplicação da prova do Cremesp são de que se trata de avaliação terminal, somativa, essencialmente cognitiva, sem a avaliação direta do currículo e da qualificação de ensino das instituições que abrigam os cursos de Medicina, e não inclui a avaliação de médicos já em atividade. Propostas como a implantação do teste do progresso em nível nacional³, em conjunto com avaliação externa dos cursos, poderiam ser mais adequadas, pois, pelo fato de a reprovação no exame do Cremesp não impedir a obtenção do registro profissional, pode-se especular que os graduandos não se esforçam para o melhor resultado na aplicação⁴. O fato de não haver, no momento, nenhum programa anual de avaliação em nível nacional para os egressos pode contribuir para a sensação de insegurança quanto à qualificação dos médicos para o exercício profissional.

Na prática, possuir o diploma de médico emitido por uma instituição brasileira já é o suficiente para o exercício profissional legal na maioria dos estados. A avaliação do desempenho do aluno pelas escolas médicas é, certamente, o mais importante filtro de proficiência profissional em vigência. É fundamental que as faculdades de Medicina avaliem seus alunos adequadamente para o exercício profissional de qualidade quanto à aquisição de competências.

Pode-se definir competência como o conjunto de conhecimentos, habilidades e atitudes que permitem uma prática médica de excelência, em contínuo aperfeiçoamento, adequado ao contexto social em que se desenvolve⁵. A avaliação da competência exige mais do que verificar se o aluno sabe o conteúdo (conhecimento) ou se executa os procedimentos de forma correta (habilidades); é preciso acompanhar suas atitudes. Atitude, de acordo com o Novo dicionário da língua portuguesa⁶, é “um propósito ou uma maneira de manifestar esse propósito ou uma reação ou maneira de ser, em relação a determinada(s) pessoa(s), objeto(s), situações”. A atitude é a predisposição para a ação, que carrega as preferências pessoais sobre ideias ou objetos (valores), e as emoções implícitas nessas escolhas⁷. É pela observação do comportamento (repetição das ações) que podemos inferir sobre atitudes de um indivíduo.

A avaliação do comportamento frequentemente se faz presente nos planos de ensino por meio de um dos parâmetros mais citados nos estágios práticos: a Nota de Conceito Global (NCG) (Global Rating Scale - GRS)^8,9. Trata-se do uso de elementos distintos da avaliação cognitiva, de natureza subjetiva, que contribui para a avaliação do desempenho do aluno/estagiário. Em outras palavras, é uma forma de quantificar o comportamento dos estudantes, em que se analisam os elementos atitudinais por meio de comportamentos sociais e éticos, e desempenho técnico. É estratégico que a NCG seja construída por meio de uma nomenclatura padronizada e parâmetros bem definidos que possibilitem a quantificação, levando em conta as diferenças existentes entre os diversos projetos políticos pedagógicos.

Tendo como base a heterogeneidade presente nos estágios, em diferentes contextos da prática da medicina, e o grande número de sujeitos envolvidos (preceptores, residentes, funcionários, pacientes e acompanhantes), além da implícita subjetividade contida nesse processo, seriam os critérios estabelecidos para a constituição da NCG devidamente padronizados e adequados para avaliar alunos em seus estágios do internato? Neste trabalho, estudamos como a NCG está estruturada na avaliação de estudantes do internato de uma instituição de ensino.

OBJETIVO

O objetivo deste trabalho foi analisar, por meio dos planos de ensino do internato (quinto e sexto anos) de um curso de Medicina de currículo tradicional de uma instituição pública com mais de 50 anos de atividade, em início da aplicação de um novo currículo, como a NCG está incluída e estruturada na avaliação, o que pode ser aperfeiçoado para garantir melhor avaliação formativa dos alunos da Instituição envolvida e, dessa forma, contribuir para o conhecimento do assunto e os devidos ajustes nos futuros planos de ensino.

MÉTODOS

Após o consentimento do conselho do curso da referida faculdade, foram consultados os planos de ensino de todas as disciplinas obrigatórias do quinto e sexto anos do curso de Medicina do currículo antigo em vigor, que correspondem aos anos de internato.

Realizou-se leitura sistematizada dos planos de ensino das disciplinas que compõem o internato

Os dados foram organizados em planilhas, em que se discriminaram as diversas disciplinas e os estágios, a carga horária (CH) e o peso da NCG na composição da nota final de avaliação de desempenho.

A Nota Global do Aluno (NGA) é um valor numérico calculado no final de cada ano de graduação, resultado da soma dos produtos da CH cursada multiplicada por sua respectiva nota (de zero a dez), dividida pela soma dos produtos das CHs multiplicada por dez (a nota máxima). Como o peso da NCG varia nas diversas disciplinas e estas têm CHs diversas, para que pudéssemos compreender matematicamente o peso da NCG na avaliação do aluno, optamos por calcular a porcentagem da NCG na NGA. Para tal, adotamos o seguinte procedimento:

• • Calculamos, para cada disciplina, o produto entre a (CH) e a porcentagem da NCG na avaliação descrita no plano de ensino (NCG*CH).

• • Somamos o NCG*CH de todas as disciplinas de cada ano de internato (quinto e sexto anos) (total NCG*CH).

• • A razão entre o total NCG*CH e a CH total do ano forneceu o quanto a NCG contribui para a NGA para cada um dos anos de internato.

Além da proporção da NCG na avaliação das disciplinas, verificamos os termos utilizados para descrever os critérios a serem utilizados para a nota do conceito. Verificamos se nos planos de ensino constava a utilização da NCG para feedback do desempenho do aluno.

RESULTADOS

Analisaram-se os planos de ensino das 18 disciplinas obrigatórias que fazem parte dos dois últimos anos do curso de Medicina, o que corresponde ao período do internato do curso avaliado. A CH das disciplinas de acordo com o ano do curso é apresentada na Tabela 1.

Tabela 1
Número de disciplinas obrigatórias e optativas, com respectivas CHs e dias letivos, de acordo com o ano do curso de Medicina avaliado

Ano	Disciplinas obrigatórias	Disciplinas optativas	CH obrigatória	CH total	Dias letivos
Quinto ano	11	1	1.936	2.112	275
Sexto ano	7	0	1.960	1.960	251
Total	18	1	3.896	4.072	526

• Fonte: Planos de ensino das disciplinas do internato do curso analisado.

O ano letivo do quinto ano tem 275 dias, e o do sexto ano, 251 dias, somando 526 dias. A CH total do internato é de 4.072 horas: 2.112 horas do quinto ano e 1.960 horas do sexto ano. Existem 176 horas no quinto ano para estágio optativo, o que disponibiliza 1.936 horas para as disciplinas obrigatórias. As 18 disciplinas obrigatórias nos dois anos abrigam 70 estágios, e cada um é supervisionado por docentes e profissionais distintos que participam, frequentemente, em mais de um estágio.

Com relação aos cenários de ensino nas disciplinas, os planos de ensino descrevem atendimentos em ambulatórios, pronto-socorro, centro cirúrgico, unidades básicas de saúde, unidades de saúde da família, triagem, enfermarias e unidades de terapia intensiva de adultos, pediátrica e neonatal de um hospital universitário de nível terciário e de um hospital de nível secundário, além de unidades da rede de atenção primária de saúde na cidade onde a faculdade está localizada.

Nas tabelas 2 e 3, são apresentadas as CHs das disciplinas do quinto e sexto anos, respectivamente.

Tabela 2
Distribuição da CH absoluta (em horas) das disciplinas que compõem o quinto ano curso de Medicina avaliado, com a respectiva porcentagem em relação ao total

DISCIPLINA	CH	% CH
Clínica cirúrgica I	352	16,7
Clínica cirúrgica II	176	8,3
Dermatologia infecciosa e parasitária	88	4,2
Ginecologia e obstetrícia I	352	16,7
Medicina interna I	176	8,3
Medicina interna II	144	6,8
Moléstias infecciosas e parasitárias III	120	5,7
Neurologia clínica	88	4,2
Neurologia II (neuropediatria)	20	0,9
Pediatria II	332	15,7
Psiquiatria	88	4,2
Optativa	176	8,3
Total	2.112	100,0

• Fonte: Planos de ensino das disciplinas do internato do curso analisado.

Tabela 3
Distribuição da CH absoluta (em horas) das disciplinas que compõem o sexto ano curso de Medicina avaliado, com a respectiva porcentagem em relação ao total

DISCIPLINA	CH	% CH
Clínica cirúrgica III	280	14,3
Ginecologia e obstetrícia II	280	14,3
Medicina interna III	280	14,3
Pediatria III	280	14,3
Saúde coletiva IV	280	14,3
Urgências e emergências cirúrgicas	280	14,3
Pronto-socorro	280	14,3
Total	1.680	100,0

• Fonte: Planos de ensino das disciplinas do internato do curso analisado.

As tabelas 4 e 5 apresentam a CH e a proporção da NCG nas disciplinas em relação à nota final do estágio do quinto e sexto anos, respectivamente. A coluna NCG*CH é o produto entre a contribuição da NCG e a CH das disciplinas. A contribuição da NCG na NGA é a razão entre a soma dos produtos da coluna NCG*CH e o total da CH do respectivo ano de internato. Para o quinto ano, a NCG contribui com 30% da NGA e com 40% para o sexto ano.

Tabela 4
Distribuição da CH absoluta (em horas) das disciplinas do quinto ano cujo plano de ensino descreve o peso da NCG em relação à nota final. A coluna NCG*CH é o produto entre a CH e a proporção da NCG na avaliação final da disciplina (ver cálculo na seção “Métodos”). A NCG tem peso de 30% na NGA (ver NCG no total)

DISCIPLINAS (quinto ano)	CH	NCG	NCG*CH
Clínica cirúrgica II	176	0,2	35,2
Dermatologia infecciosa e parasitária	88	0,2	17,6
Ginecologia e obstetrícia I	352	0,3	105,6
Medicina interna I	176	0,4	70,4
Medicina interna II	144	0,3	43,2
Moléstias infecciosas e parasitárias III	120	0,4	48
Neurologia clínica	88	0,25	22
Neurologia II (neuropediatria)	20	0	0
Psiquiatria	88	0,4	35,2
Total	1.252	0,30 (377,2/1.252)	377,2

• Fonte: Planos de ensino das disciplinas do internato do curso analisado.

Tabela 5
Distribuição da CH absoluta (em horas) das disciplinas do sexto ano cujo plano de ensino descreve o peso (em porcentagem) da NCG em relação à nota final (coluna % NCG). A coluna NCG*CH é o produto entre a CH e a proporção da NCG na avaliação final da disciplina (ver descrição na seção “Métodos”). A contribuição da NCG para a NGA é de 40% no sexto ano (NCG do total)

DISCIPLINAS (sexto ano)	CH	NCG	NCG*CH
Clínica cirúrgica III	280	0,43	120,4
Ginecologia e obstetrícia II	280	0,50	140
Medicina interna III	280	0,40	112
Pediatria III	280	0,20	56
Saúde coletiva IV	280	0,63	176,4
Urgências e emergências cirúrgicas	280	0,31	86,8
Pronto-socorro	280	0,33	92,4
Total	1.960	0,40 (784/1.960)	784

• Fonte: Planos de ensino das disciplinas do internato do curso analisado.

Com relação à Tabela 4, a ausência de algumas disciplinas deve-se à impossibilidade de obter o peso da NCG pela leitura dos planos de ensino. A ausência da inclusão do estágio Clínica cirúrgica I deveu-se pelo fato da média final ser composta pela média da nota dos quatro estágios, incluídos os itens avaliação cognitiva, casos clínicos, prova prática e conceito, porém sem a descrição dos pesos para o cálculo. No caso da disciplina Pediatria II, o critério de avaliação é composto por conceito e prova escrita, também sem o relato do peso de cada uma das notas na média final. Essas duas disciplinas, portanto, foram excluídas da análise. O somatório das CHs das disciplinas obrigatórias em que o plano de ensino descreve a composição das notas foi de 1.252 horas para o quinto ano. A disciplina Neurologia II não inclui a nota de conceito entre os critérios, considerando apenas a avaliação cognitiva. Duas disciplinas imputam à NCG 20% da composição da nota final (menor valor), e três disciplinas atribuem peso de 40% (maior valor). As sete disciplinas do sexto ano têm descritas no plano de ensino a utilização da NCG e o peso respectivo, que variou de 20% a 63% da nota final.

Na Tabela 6, apresentamos o cálculo da contribuição da NCG na NGA no internato (quinto e sexto anos), que foi de 36% (razão entre as somas dos produtos entre NCG, CH e CH total do internato).

Tabela 6
Cálculo da contribuição da NCG na NGA no internato (quinto e sexto anos) realizado com base na razão da soma dos produtos da NCG (porcentagem), da CH anual e da CH do internato (no quinto e sexto anos e no total), nas disciplinas que descrevem a avaliação nos planos de ensino

Ano do internato	CH	Somatório NCG*CH	Contribuição NCG na NGA
Quinto ano	1.252	377,2	30%
Sexto ano	1.960	784	40%
Total	3.212	1.161,2	36%

• Fonte: Planos de ensino das disciplinas do internato do curso analisado.

Com relação ao conjunto dos planos de ensino do quinto e sexto anos, em nenhum deles foi constatada a recomendação ou a citação do uso da NCG para feedback do desempenho do aluno, seja com finalidade de uso como estratégia somativa ou formativa.

Além da proporção da NCG na NGA, avaliamos os termos e as expressões utilizados para descrever os critérios a serem utilizados para a nota do conceito (Gráfico 1). “Assiduidade”, a palavra mais citada, apareceu em 12 das 18 disciplinas obrigatórias; “frequência”, que consideramos como sinônimo de “assiduidade”, foi descrita em cinco, porém uma das disciplinas contém ambos os termos. “Assiduidade” e “frequência” estiveram presentes em 16 das 18 disciplinas obrigatórias. Em seguida, as palavras mais citadas (de quatro a dez ocorrências) foram: “interesse” (dez), “ética” (sete), “relacionamento” (sete), “responsabilidade” (seis), “conhecimento” (seis), “dedicação” (cinco), “participação” (quatro) e “pontualidade” (quatro). A palavra “conceito” foi incluída em três disciplinas. Outras palavras e expressões com menor frequência foram: “desempenho”, citada três vezes; “abordagem” e “atendimento de pacientes” em duas disciplinas e “organização de prontuário” em uma. Foram citadas apenas uma vez: “comunicação”, “habilidade”, “raciocínio clínico”, “rendimento” e “apresentação/vestimenta”.

Gráfico 1
Frequência dos termos utilizados nos critérios da composição da NCG nos planos de ensino dos estágios do internato da instituição investigada

DISCUSSÃO

O internato corresponde ao terço final do curso de graduação em Medicina¹⁰. É o momento em que há maior integração teórico-prática, quando o exercício da prática médica é efetivamente realizado, permitindo um contato rotineiro dos estudantes com seu futuro ambiente de trabalho, tanto no âmbito espacial quanto no interpessoal. Desse modo, tal período também apresenta uma inigualável oportunidade para um acompanhamento preciso dos atributos esperados de um estudante em formação, bem como para contribuir de modo formativo para seu desenvolvimento profissional. Nesse contexto, é fundamental a percepção de que a formação acadêmica qualificada envolve mais do que apenas o aspecto cognitivo e o domínio de técnicas, devendo abranger também outras áreas, como o contato interpessoal, o cuidado, a postura perante o paciente e atributos como pontualidade, compromisso e responsabilidade. O conjunto de competências da prática médica, conforme apresentado nas Diretrizes Curriculares Nacionais de 2014, rege a organização, o desenvolvimento e a avaliação dos cursos de Medicina¹¹ e deve constar nos currículos e planos de ensino das disciplinas¹². Nesse sentido, planejada como uma estratégia indutiva de ensino, uma avaliação sistematizada nos vários domínios pode favorecer a formação de um indivíduo competente, capaz de exercer uma boa prática profissional, autônoma e independente.

No que tange ao processo de avaliação, existem diversos modos de analisar o comportamento do aluno, o que pode ser feito com base na natureza somativa (o grau de aproveitamento desejado) ou formativa (avaliação em ação e com feedback)¹³. O primeiro tipo de avaliação corresponde à modalidade pontual, geralmente ao fim de um ciclo de aprendizagem, que pretende focar os resultados do processo de ensino, a fim de analisar o quanto do conhecimento transmitido foi absorvido e incorporado. O segundo tipo corresponde a uma forma de avaliação que não apenas analisa o conhecimento adquirido, mas também tem o objetivo de orientar o estudante, por meio de feedback realizado pelo professor/tutor, com o propósito de melhorar e ampliar a bagagem técnico-humana que se objetiva ensinar. Consiste em uma abordagem marcada por interferências sobre o aluno ao longo de todo o processo de formação, para que se possa intervir precocemente nas situações que não estão de acordo com o esperado, segundo determinados critérios. Isso permite uma correção precoce e direcionada, contribuindo ativamente para uma formação qualificada do aluno, a partir do momento em que se abandona a avaliação como critério isolado e adota-se um conjunto simultâneo de avaliação-formação. A avaliação formativa é também um repensar a aprendizagem sob o ponto de vista de quem ensina, uma indispensável autoavaliação do professor no processo educacional¹⁴.

Muitas instituições de ensino médico utilizam a NCG nos estágios práticos quando pretendem avaliar o comportamento do aluno nos estágios^8,15. Em geral, a NCG resume-se a um elemento de avaliação do desempenho geral.

No nosso estudo, por meio da leitura dos planos de ensino, constatou-se que a NCG é parte de uma avaliação somativa, terminal, não associada a feedback. O fato de a NCG compor 30% e 40% da NGA no quinto e sexto anos evidencia sua importância na avaliação do desempenho do interno. A análise da descrição da avaliação das disciplinas mostrou que a NCG, como parte do processo global de avaliação do estudante, mostrou-se irregular e sem padronização institucional; há uma ausência de uniformidade na composição da nota final ou nos critérios a serem avaliados, bem como na aplicação diferenciada dos itens em cada cenário de aprendizado. Entretanto, o fato de as disciplinas utilizarem critérios próprios e não coordenados ou pactuados constitui um empecilho para uma análise do graduando de modo global e interdisciplinar, já que o conceito advindo de uma disciplina em particular não necessariamente reflete o desejado ou esperado em outra. Um exemplo dessa falta de uniformidade é o critério “assiduidade”, o termo mais presente; como se trata de sinônimo de “frequência”, isso demonstra que, embora a presença do aluno no estágio seja um valor, o quanto se deve estar presente nas atividades não é descrito em nenhum momento. Primordialmente, “assiduidade” corresponderia à presença física do estudante nas atividades, o que, certamente, não envolve qualquer subjetividade, sendo apenas um dado numérico. Assim, é muito provável que o termo “assiduidade”, como o item mais presente nos planos de ensino, esteja mais relacionado com a consistência da participação do estudante nas atividades. Assiduidade também remete ao rigor com que o estudante se compromete com as atividades, isto é, o quanto sua presença é previsível e esperada. Assim, alternativamente ao uso da palavra assiduidade, uma descrição detalhada sobre o quanto é fundamental que o aluno esteja ativamente presente nas atividades orienta tanto o professor com relação à avaliação como o aluno sobre o que é esperado dele. Outra palavra emblemática é “ética”; a ausência de uma descrição nos planos de ensino sugere que, ao contrário, é a falta de ética que pode influenciar na avaliação do conceito, pois é impraticável definir quanto ético é um aluno. Imaginando uma situação em que um aluno comete uma infração ética, dar uma nota baixa seria a menor das consequências desse ato, aliás, talvez, a mais inócua. Em vez de ética como um critério, a citação de um comportamento respeitoso e a necessidade da consciência das repercussões de suas decisões para com os pacientes, funcionários e preceptores direcionam o estudante para o comportamento ético durante os estágios. A simples citação de palavras e a ausência de uma metodologia uniforme, sem critérios organizados e inter-relacionados, impedem o acompanhamento do aluno de forma global, com dificuldade de mensuração e, por consequência, sujeito a erros de acurácia. Nesse sentido, seria mais útil para o aluno se houvesse a descrição do comportamento esperado no estágio. Assim, as duas palavras mais citadas na descrição da NCG, isto é, “interesse” e “assiduidade”, estão interligadas, juntamente com “frequência”, “dedicação”, “pontualidade” e “participação”. Relacionamento, a terceira palavras mais frequente, está, assim, acoplada aos termos “responsabilidade”, “ética” e “interesse”. Se os planos de ensino fossem redigidos com base nesse critério, ou seja, baseados no comportamento esperado, a NCG poderia, se adequadamente aplicada, ser utilizada como instrumento fundamental para a pactuação, o diálogo e o acompanhamento do desempenho entre professores e alunos em uma avaliação formativa. Estaremos estabelecendo o comportamento esperado, sem necessidade de interpretação dos critérios de avaliação, minimizando ambiguidades ou imprecisão. Dessa forma, pela inserção inadequadamente planejada dos critérios e da estratégia de aplicação, perdem-se uma grande oportunidade de crescimento do aluno, uma avaliação cuidadosa e construtiva do professor e informações da própria instituição sobre o processo ensino-aprendizagem.

Embora não haja correntemente uma distinção universal entre competência e performance (originariamente palavra de origem inglesa, traduzida como desempenho, atualmente de uso corrente), assumiremos uma diferenciação conceitual que pode contribuir para uma melhor compreensão¹⁶. Competência seria a demonstração da potencialidade de conhecimento e atuação diante de situações determinadas, em um contexto específico de avaliação. Performance é a utilização efetiva da competência. Competência é objetividade. Performance é subjetividade.

Avaliamos objetivamente o aluno quando medimos o quanto ele conhece sobre determinado assunto (testes cognitivos) ou o quanto corretamente concebe ou realiza procedimentos (portfólios, Objective Structured Clinical Examination (Osce), Mini-Clinical Evaluation Exercise (Mini-CEX) e provas práticas)¹⁷. O fato de uma pessoa ter demonstrado competência em uma avaliação não garante que ela irá comportar-se semelhantemente em outras situações. Um ambiente propício ou especialmente preparado para avaliação modifica, ou melhor, afeta o comportamento do avaliado. Nesse sentido, a avaliação, buscando a objetividade, tende a considerar a subjetividade do avaliador como elemento nocivo, o que é uma visão equivocada. Porém, a avaliação subjetiva tem grande espaço em nossas decisões cotidianas, mais do que o preenchimento de critérios em uma planilha. Como exemplo, ninguém se casa com alguém por critérios objetivos preenchendo checklists.

Performance é o que o indivíduo produz em seu cotidiano¹⁸. A avaliação de competências, portanto, é indicador indireto da performance. A performance não é potência, é dinâmica. Há uma maior dificuldade de avaliar performance, pois motivação, disciplina, condições físicas e psíquicas, e outros aspectos vivenciais atuam e interferem constante e dinamicamente com a esperada flutuação. Avaliar a performance exige acompanhamento constante, o que significa proximidade. Há ainda outra dificuldade: raramente os preceptores assistem ao atendimento dos alunos, exceto quando utilizam métodos como o Mini-CEX, porém, por tratar-se de instrumentos objetivos de avaliação, apenas o desempenho é mensurado. A avaliação da performance se concretiza pela intersubjetividade professor-aluno, isto é, do sujeito avaliado no contexto do sujeito que avalia, e que almeja, assim, antever outras intersubjetividades. É como um pai que, a partir da relação com seu filho, imagina como este se relaciona com os outros, já que aquela é a relação mais próxima possível, e a única cuja dinâmica tem controle. O que denominamos de NCG é uma ferramenta que busca avaliar a performance, a impressão (de um sujeito) do conjunto das ações do indivíduo (um outro sujeito) em determinado período, por meio das relações intersubjetivas (aluno-paciente, aluno-equipe, aluno-professor).

O embate entre objetividade e subjetividade é evidenciado na comparação do uso de checklists ou da avaliação global do desempenho em avaliação de tarefas em estações com situações simuladas (tipo Osce), em que se demonstra que esta última apresenta maior confiabilidade nos resultados entre avaliadores e na discriminação do desempenho dos alunos, além de apresentar maior confiabilidade na comparação das avaliações entre estações¹⁹. Embora haja vantagem no uso de checklists quando o avaliador não está familiarizado com a tarefa e apesar da necessidade de maior treinamento para essa avaliação, a nota global de desempenho, na sua subjetividade, pode capturar nuances de elementos da expertise e de desvios perigosos no desempenho das tarefas.

Por mais que estabeleçamos definições sobre a avaliação da performance, como no caso do Conceito Global Itemizado²⁰, que sumariza a impressão do avaliador em relação a 13 domínios de competência, sendo seis referentes à competência técnica (exercício clínico), e sete, à competência humanística (relacional), a natureza da avaliação é fundamentalmente subjetiva e dependente do avaliador e do contexto (por exemplo, em qual disciplina o aluno está estagiando)²¹. Busca-se, dessa forma, uma objetividade da subjetividade. Talvez, por conta de serem duas subjetividades, a do avaliador e a do avaliado, seja muito difícil a unificação ou a homogeneização de critérios de uma avaliação de performance, como é a proposta da NCG. Nesse sentido, a experiência prévia do avaliador e a utilização de vários avaliadores nos estágios, inclusive residentes e a equipe de enfermagem, podem aumentar a acurácia da avaliação do NCG.

A importância da inclusão da NCG entre os quesitos da avaliação no internato se dá pelo fato de que o objetivo final do estudante em formação, bem como da instituição de ensino em que ele estuda, deveria ser, idealmente, o alcance de performance satisfatória na vida prática, fora do ambiente acadêmico e do contexto objetivo de avaliação; métodos de avaliação adequados e associados a um feedback adequado favorecerão, consistentemente, a aquisição das competências necessárias.

Deve-se aprimorar constantemente o processo de avaliação a fim de proporcionar uma maior acurácia na análise do indivíduo como ser competente; ele necessita possuir inúmeras capacidades, conhecimentos e condutas sólidos para realizar uma performance satisfatória como profissional de saúde inserido em um contexto macro de políticas públicas de cuidado e responsabilidades²². É papel das instituições de ensino - como responsáveis pelo processo de formação - guiar o graduando e permitir que ele alcance o máximo de qualidade como profissional em construção. É necessária uma abordagem multifatorial do processo de avaliação, o qual deve ser tratado globalmente, em várias esferas e com o mesmo nível de complexidade dos indivíduos a serem analisados. A avaliação sistematizada institucionalmente, inserida em uma abordagem formativa, monitorada e avaliada no conjunto das disciplinas e dos estágios, pode ser muito mais que uma estratégia de verificação de aprendizado, mas o instrumento mais potente de ensino, por tratar-se também de uma política indutora da aprendizagem²³. Apesar de sua subjetividade e por conta disso, a NCG tem papel importante como avaliação da performance, porém deve ser sistematizada (itemizada, uniformizada, com critérios estabelecidos e pactuados institucionalmente), integrada entre as diversas disciplinas, utilizada em um contexto formativo, com possibilidade de feedbacks.

Há uma peculiaridade na educação médica que a distingue: a relação professor-aluno é, na oportunidade desse “estar junto”, nessa intersubjetividade, a aproximação interpessoal que se imagina poder ser reproduzida na prática assistencial²⁴. A construção dessa intersubjetividade, que surge do ensinar e do aprender a partir da experiência de outras relações entre sujeitos (pacientes e acompanhantes, funcionários, residentes e entre os internos), é oportunidade de percepção, troca, interpretação e interferência. Um professor atento pode contribuir muito para o desenvolvimento pessoal e profissional do aluno no convívio da prática médica. Portanto, a NCG, menos que uma meta, é fruto desejado dessa subjetividade quando inserida dialeticamente, exercício de um feedback da aprendizagem.

A avaliação educacional é uma atividade universal, carregada de valores e de intencionalidades; diferentemente da pesquisa, os dados obtidos não buscam generalizações ou estabelecimento de princípios ou leis, mas, sim, decisões com consequências imediatas na prática²⁵. Os instrumentos de avaliação necessitam das seguintes propriedades: validade, fidedignidade e viabilidade²⁶. A NCG, por ser carregada de valores e pela subjetividade, precisa ser discutida e pactuada, necessitando do consenso dos que a aplicam, com a consequente inserção institucional. Os alunos, ao tomarem ciência dos critérios que a constituem, certamente terão seu comportamento norteado beneficamente. Do ponto de vista institucional, é fundamental que haja uma harmonização entre os avaliadores das diferentes disciplinas e estágios na aplicação da NCG. Em uma visão mais ampla, isto é, o conjunto dos estágios, a elaboração da NCG deve ser coerente com o projeto político pedagógico e com a missão, a visão e os valores institucionais estabelecidos. Contudo, como diferentes estágios podem exigir critérios e indicadores específicos, é fundamental que a instituição respeite as peculiaridades, principalmente com relação aos graus de aplicação na composição da avaliação do estudante. O fato de a NCG ser uma avaliação carregada de valores pessoais e de grupos é, portanto, a exposição de uma expectativa. É fundamental que o professor, as disciplinas e a instituição compreendam as diferentes expectativas dos alunos nos diferentes cenários, que transmitam claramente o comportamento e as atitudes esperados diante do palco de atuação específica do local de atuação, da pactuação que se segue na interação diante de dificuldades e limitações, e do acompanhamento e feedback durante o estágio/curso e no término dele. Portanto, o diálogo entre as disciplinas e o acompanhamento institucional da NCG proporcionado por um monitoramento individual são fundamentais para uma contribuição significativa da formação. Nesse sentido, o conjunto dos desempenhos pode ser utilizado para uma avaliação de cursos/estágios e da própria instituição.

Como uma síntese final, por meio da análise dos planos de ensino da instituição estudada, apesar da importância da NCG na constituição da NGA, constatou-se o seguinte: não há uma estratégia e nomenclatura norteadora institucional padronizada entre as disciplinas para a avaliação de atitudes e competências interpessoais dos internos; não há uma apresentação de expectativas do comportamento; não há uma pactuação; não há um acompanhamento integrado e sistematizado do desenvolvimento do aluno durante o internato; não há uma devolutiva planejada. Embora seja especialmente útil para realizar a avaliação formativa, a NCG é reduzida a um valor numérico, fornecida apenas pelos professores/tutores, sendo utilizada como avaliação somativa, sem o feedback e a oportunidade de uma visão do conjunto institucional tão útil e necessária.

REFERÊNCIAS

• ¹
  Associação Médica Brasileira [acesso em 27 jun 2019]. Disponível em: Disponível em: http://amb.org.br/noticias/amb-quer-exame-nacional-de-proficiencia-em-medicina/
  » http://amb.org.br/noticias/amb-quer-exame-nacional-de-proficiencia-em-medicina/
• ²
  Conselho Regional de Medicina do Estado de São Paulo [acesso em 27 jun 2019]. Disponível em: Disponível em: http://www.cremesp.org.br/pdfs/Relatorio-Exame-Cremesp.pdf
  » http://www.cremesp.org.br/pdfs/Relatorio-Exame-Cremesp.pdf
• ³
  Bicudo AM, HamamotoFilho PT, Abbade JF, Hafner MLMB, Maffei CML. Teste de Progresso em consórcios para todas as escolas médicas do Brasil. Rev. bras. educ. med. 2019;43(4):151-6.
• ⁴
  Mota A, Carvalho B, Candido L, Lomanto R, Maia T. Exame do Cremesp como Indicador da qualidade do ensino médico. Rev. bras. educ. med . 2014;38(1):150-9.
• ⁵
  Herreros, JMP. Competencias médicas. Educ. med. 2005;8 (supl 2):S4-6.
• ⁶
  Ferreira, ABH. Novo dicionário da língua portuguesa. Rio de Janeiro: Nova Fronteira; 1975, (apud Ribeiro MMF. Avaliação da atitude do estudante de medicina da Universidade Federal de Minas Gerais, a respeito da relação médico-paciente, no decorrer do curso médico. Belo Horizonte; 2006. Doutorado - Programa de Pós Graduação em Clínica Médica da Universidade Federal de Minas Gerais).
• ⁷
  Ribeiro MMF. Avaliação da atitude do estudante de medicina da Universidade Federal de Minas Gerais, a respeito da relação médico-paciente, no decorrer do curso médico. Belo Horizonte: 2006. Doutorado - Programa de Pós Graduação em Clínica Médica da Universidade Federal de Minas Gerais.
• ⁸
  Domingues RCL, Amaral E, Bicudo-Zeferino AM. Conceito global: um método de avaliação de competência clínica. Rev. bras. educ. med . 2009;33(1):148-51.
• ⁹
  Wang E. Global assessment tool for emergency medicine-specific core competency evaluation. Acad. emerg. med. 2004;11(12):1370-1370-1.
• ¹⁰
  Zanolli MB, Maciel DT, Streit DS, Muraguchi EBO. “Internato Médico”: Diretrizes Nacionais da ABEM para o internato no curso de graduação em medicina, de acordo com as Diretrizes Curriculares Nacionais. In: Lampert JB, Bicudo AM. 10 anos das Diretrizes Curriculares Nacionais dos cursos de graduação em Medicina. Rio de Janeiro: ABEM; 2014. p. 57-87.
• ¹¹
  Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução nº 3, de 20 de junho de 2014. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina e dá outras providências. Diário Oficial da União, Brasília, 23 jun 2014; Seção 1, p. 8-11.
• ¹²
  Franco CAGS, Cubas MR, Franco RS. Currículo de Medicina e as competências propostas pelas Diretrizes Curriculares. Rev. bras. educ. med . 2014;38(2):221-30.
• ¹³
  Borges MC, Miranda CH, Santana RC, Bollela V. Avaliação formativa e feedback como ferramenta de aprendizado na formação de profissionais da saúde. Medicina (Ribeirão Preto) 2014; 47(3):324-31.
• ¹⁴
  Oliveira CA, Senger MH. Avaliação formativa: estamos preparados para realizá-la? Rev. Fac. Cienc. Med. Sorocaba 2014;16(3):158-60.
• ¹⁵
  Pulito AR, Donnelly MB, Plymale M, Mentzer Jr. RM. What do faculty observe of medical students clinical performance? Teach. learn. med. 2010;18(2):99-104.
• ¹⁶
  Rethans JJ, Leeuwen YV, Drop R, Vleuten CVD, Sturmans F. Competence and performance: two different concepts in the assessment of quality of medical care. Fam. prac. 1990;7(3):168-74.
• ¹⁷
  Tabish SA. Assessment methods in medical education. International Journal of Health Sciences 2008;2(2):3-7.
• ¹⁸
  Epstein RM. Assessment in medical education. N. Engl. j. med. 2007;356(4):387-96.
• ¹⁹
  Ilgen JS, Ma IWY, Hatal R, Cook DA. A systematic review of validity evidence for checklists versus global rating scales in simulation-based assessment. Med. Educ. 2015;49:161-73.
• ²⁰
  Domingues RCL, Amaral E. Zeferino AMB. Os diferentes olhares na avaliação de alunos em estágio clínico supervisionado. Rev. Assoc. Med. Bras. 2009;55(4):458-62.
• ²¹
  Domingues RCL, AmaralE,Zeferino AMB, Antonio MAGM, Nadruz W. Competência clínica de alunos de Medicina em estágio clínico: comparação entre métodos de avaliação. Rev. bras. educ. med . 2010;34(1):124-31.
• ²²
  Souza AP, Heinisch RH. Estudo sobre a avaliação aplicada no internato em clínica médica da Unisul. Rev. bras. educ. med . 2012;36(1):68-76.
• ²³
  Troncon LEA. Avaliação programática do estudante: estratégia institucional para melhor cumprir as funções da avaliação educacional. Rev Grad USP 2016;1(1):53-8.
• ²⁴
  Rios IC, Schraiber LB. Humanização e humanidades em Medicina. São Paulo: Editora Unesp; 2012.
• ²⁵
  Vianna HM. A prática da avaliação educacional: algumas colocações metodológicas. Est. aval. educ. 2014;25(60):178-95.
• ²⁶
  Troncon LEA. Avaliação do estudante de Medicina. Medicina (Ribeirão Preto) 1996;29(4):429-39.

Datas de Publicação

• Publicação nesta coleção
  17 Abr 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  01 Nov 2019
• Aceito
  21 Jan 2020