O SINAES e o ENADE: da concepção à implantação1 1 Este texto está baseado na bibliografia do artigo sobre o modelo do ENADE que foi publicado na edição de junho de 2005 desta revista Avaliação.
SINAES and ENADE: From conception to implementation
Márcia Regina F. de Brito
Professora Titular da Universidade Estadual de Campinas; atualmente, Professora Colaboradora do Departamento de Psicologia dessa Universidade. E-mail: mbrito@unicamp.br
RESUMO
O presente texto apresenta o Sistema Nacional de Avaliação da Educação Superior (SINAES) e o Exame Nacional de Desempenho dos Estudantes (ENADE) analisando aspectos relativos aos fundamentos do exame e sua implantação.
Palavras-chave: Educação Superior. SINAES. ENADE. Exame em larga escala.
ABSTRACT
This paper presents the National Higher Education Evaluation System (SINAES) and National Assessment of Students Performance (ENADE) analysing issues related to the foundations and implantation of this assessment.
Key words: Higher Education. SINAES. ENADE. Large-scale assessment.
O Sistema Nacional de Avaliação da Educação Superior (SINAES) começou a ser implementado a partir de 2004, tendo subjacente a ele a idéia de que em cada escola existe uma possibilidade diferenciada. A partir desta concepção buscou estabelecer pontos que pudessem ao mesmo tempo atender o sistema como um todo e as peculiaridades de cada Instituição de Educação Superior (IES). Assim, a avaliação deveria contemplar a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das IES e dos cursos a ela vinculados. Dentro desta concepção, é fundamental o reconhecimento da diversidade e o respeito à identidade.
A avaliação, quando concebida como um processo dinâmico, pode ser usada como referencial para que as Instituições de Educação Superior disponham de evidências empíricas não apenas de suas debilidades, mas também de suas potencialidades e de suas realizações. Conhecendo e dando a conhecer os elementos que integram e interagem em cada IES, é possível transformá-la em direção às metas almejadas, organizando a instituição de modo que esta atue e forme profissionais engajados e comprometidos com uma sociedade em constante mudança.
O SINAES, estabelecido na Lei 1086/04 de 14 de Abril de 2004, fiel a esta concepção, em seu artigo 2º estabelece que, ao promover a avaliação de instituições, de cursos e de desempenho dos estudantes, deverá ser assegurado o caráter público de todos os processos avaliativos, o respeito à identidade e à diversidade, e a garantia de participação de todos os segmentos envolvidos: corpo docente, discente e técnico-administrativo e também representantes da sociedade civil.
A lei estabeleceu também que serão os resultados (grifo meu) da avaliação de instituições, dos cursos e do desempenho dos estudantes que constituirão o referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação.
O SINAES compreende os seguintes componentes que, por sua vez, apresentam um conjunto de sub-componentes:
Avaliação Institucional: auto-avaliação (pelas CPAs e avaliação externa in loco, desenvolvida pelos avaliadores institucionais capacitados pelo INEP nos moldes do SINAES.
Avaliação de Curso: pelos pares na avaliação in loco, pelos estudantes, através do ADES (questionário de Avaliação Discente da Educação Superior que é enviado aos estudantes da amostra do ENADE), pelos coordenadores de curso, mediante questionário dos coordenadores e avaliações realizadas pelos professores dos cursos e a CPA.
Avaliação do Desempenho dos estudantes ingressantes e concluintes: através de um exame em larga escala aplicado aos estudantes que preenchem os critérios estabelecidos pela legislação vigente. O Exame Nacional de Desempenho dos Estudantes (ENADE) é composto pela prova, o questionário de Avaliação Discente da Educação Superior (ADES) (antigo questionário sócio-econômico), o questionário dos coordenadores de curso e a percepção do aluno sobre a prova. Diferentemente do que muitos acreditam, o ENADE não substitui o provão; nem mesmo a prova o substitui ou confunde-se com o ENC, porque o exame dos ingressantes e concluintes permite analisar o progresso dos estudantes nos itens. Trata-se de outro paradigma.
As concepções e princípios no âmbito do SINAES sustentam que a avaliação de curso é articulada à avaliação institucional e que a avaliação da formação acadêmica e profissional deve ser entendida como uma atividade estruturada que permite a apreciação da qualidade do curso no contexto da realidade institucional. Estes pressupostos acompanham a aceitação do SINAES como elemento norteador das políticas educacionais da educação superior brasileira.
Os cursos superiores têm por função desenvolver plenamente o potencial dos estudantes a partir de suas habilidades, levando-os a adquirir as competências profissionais necessárias para atuar em um mundo em constante transformação. Assim, o Parecer CES/CNE 146/2002, de 3/04/2002 explicitou que "... as instituições de ensino superior deverão, na composição dos seus projetos pedagógicos, definir, com clareza, os elementos que lastreiam a própria concepção do curso, o seu currículo pleno e sua operacionalização".
Os objetivos da avaliação dos cursos de graduação são:
a) identificar as condições de ensino oferecidas aos estudantes, em especial as relativas à organização didático pedagógica, corpo social e instalações físicas;
b) verificar a articulação entre PDI, Projeto Pedagógico de Curso - PPC, currículo, vocação institucional e inserção regional;
c) analisar a aderência às Diretrizes Curriculares Nacionais - DCN's.
Com a implantação do SINAES e a vinculação que existe em torno dos eixos que sustentam o sistema, o Projeto Político Pedagógico dos cursos de graduação passou a ser discutido segundo a idéia de que os vários segmentos que atuam nas IES são os mais indicados para construir o projeto.
O Projeto Político Pedagógico do Curso deve ser construído de modo a contemplar o conjunto de diretrizes organizacionais e operacionais que expressam e orientam a prática pedagógica do curso, sua estrutura curricular, as ementas, a bibliografia, o perfil profissional dos concluintes e tudo quanto se refira ao desenvolvimento do curso, obedecidas as diretrizes curriculares nacionais, estabelecidas pelo Ministério da Educação.
A principal característica do Projeto Político Pedagógico do curso é a construção coletiva, buscando adequar os elementos presentes nas Diretrizes Curriculares do Curso (DCN) ao contexto no qual se insere. O que vai resultar da construção coletiva do Projeto Político Pedagógico é a instituição que é almejada pela comunidade, é a reforma da escola.
Esta estreita relação poderia ser representada da seguinte forma:
Na análise de alguns projetos político-pedagógicos de cursos pode ser observado que muitos deles se limitam a uma descrição exaustiva das disciplinas e conteúdos específicos de cada uma delas; não apresentam o perfil do egresso; não descrevem as habilidades acadêmicas que serão desenvolvidas e não descrevem as competências profissionais que o estudante deverá demonstrar possuir ao final do curso.
O traçado do perfil do egresso de qualquer curso superior é de fundamental importância para a compreensão daquilo que é esperado do estudante ao longo de sua trajetória pela IES. Assim, no Projeto Político Pedagógico dos cursos deve ser estabelecido o perfil do profissional que se deseja formar a partir do potencial dos ingressantes, do desenvolvimento das habilidades acadêmicas, buscando alcançar as competências profissionais necessárias para o exercício da profissão. Esse delineamento é de extrema importância, pois é a partir do perfil do profissional que se deseja formar que se estabelecem as competências profissionais de uma área e esse perfil ideal deve estar claramente descrito no projeto pedagógico do curso.
O currículo de um curso deve ser construído não apenas atendendo às exigências do órgão central, mas vinculado à realidade social na qual está inserido. Deve atender o nível geral do esperado para a formação de profissionais de uma mesma área e também as especificidades do entorno. Assim, em um nível macro, o modelo de formação do profissional deve ser pensado de forma integrada ao contexto mais amplo da sociedade brasileira e em um nível micro deve atender a realidades mais específicas, que são as ênfases diferenciadas de cada curso e cada IES.
É importante destacar que o ENADE, que é um exame em larga escala, não avalia a ênfase do curso, mas sim os itens que constam das diretrizes curriculares nacionais, comuns a todos os cursos e a partir dos quais os projetos são construídos. Compete ao avaliador de curso, na visita in loco, verificar a compatibilidade entre a ênfase, a realidade social e o perfil do profissional graduado pela IES.
Antes de passar para as considerações mais específicas sobre o exame, é importante reforçar a idéia de que o SINAES, de modo geral, e o ENADE, em particular implicam em uma mudança na maneira de se conceber a avaliação, implicam em uma atitude diferente frente ao ato de avaliar. Para esclarecer melhor este ponto, é essencial tratar da diferença entre avaliação estática e avaliação dinâmica.
A avaliação estática é composta por provas ou testes no estilo tradicional, nos quais as pessoas são solicitadas a resolver problemas escolares convencionais e é esperado delas que esses problemas também sejam resolvidos da forma convencional e sem feedback. O resultado final é, quase sempre, a soma da pontuação dos itens resolvidos corretamente, sendo comum o desconto de pontos (penalidade) nas questões em cuja resposta o aluno não tem segurança ("chute").
Já na avaliação dinâmica os sujeitos aprendem durante o intervalo entre as testagens e com as provas. A construção da prova é de importância fundamental neste modelo. Se um item é respondido de maneira incorreta, é possível dar feedback para o estudante, auxiliá-lo de modo a resolver o item e dominar o conteúdo relativo a ele. Busca avaliar a maneira como o conhecimento aprendido é trabalhado. O interesse primordial é no processo, pois, em um mundo em constante transformação, o conhecimento deve ser uma ferramenta útil para o estudante, ele deve tornar-se capaz de dominar e transferir o aprendido para novas situações.
A avaliação dinâmica é baseada na noção de que as habilidades cognitivas são modificáveis e que existe algum tipo de zona de desenvolvimento proximal a qual representa a diferença entre a capacidade latente e a habilidade realmente desenvolvida. A avaliação dinâmica busca medir esta zona de desenvolvimento proximal ou algum análogo dela.
A prova do ENADE é composta de 10 questões de formação geral e 30 de conteúdos específicos elaboradas com o objetivo de aferir as habilidades acadêmicas, as competências profissionais básicas das áreas, o conhecimento sobre conteúdos básicos e profissionalizantes, além de questões transdisciplinares. O exame trata de análise de mudança, é uma situação de teste - intervenção - redeste, e busca avaliar o processo e não o produto. Além disso, é diagnóstico, pois permite a correção e superação das dificuldades. Com as novas políticas de inclusão social é extremamente impoprtante que as IES disponham de instrumentos que permitam a elas conhecer o potencial de aprendizagem dos estudantes que ali ingressam.
O ENADE avalia a trajetória do estudante, a partir do potencial de aprendizagem (desempenho dos ingressantes), o domínio da área e as competências profissionais (desempenho dos concluintes). O ponto principal do ENADE é, em primeiro lugar, a mudança de foco do exame. Na avaliação dinâmica, o foco de interesse é o progresso dos estudantes nos diversos temas que compõem as diretrizes do curso. Deixa de ser uma avaliação da aprendizagem e passa a ser uma avaliação para a aprendizagem.
No ENADE são aferidas as habilidades acadêmicas (no sentido de capacidades) e as competências profissionais. A habilidade acadêmica é a capacidade escolar necessária para dominar a informação de uma área, reproduzi-la e usá-la independentemente. Essa é a habilidade possível de ser medida pelo ENADE.
Essa habilidade acadêmica é, então, a capacidade de um indivíduo realizar determinadas tarefas, solucionar determinados problemas, dominar com sucesso determinadas exigências do meio, obtendo e demonstrando domínio do conhecimento e de tarefas relativas a uma determinada atividade. Esse aspecto é importante porque não é possível observar uma habilidade em sua forma pura, pois, a habilidade se manifesta durante a execução de uma atividade. O que pode ser observado são manifestações dos componentes de uma determinada habilidade.
Já a competência profissional é a capacidade de mobilizar, articular e colocar em ação conhecimentos, habilidades, atitudes e valores necessários para o desempenho eficiente e eficaz de atividades requeridas pela natureza do trabalho e do desenvolvimento tecnológico. As competências reportam-se a desempenhos e atuações requeridas do concluinte e devem garantir ao profissional um domínio básico de conhecimentos e a capacidade de utilizá-los em diferentes contextos que demandam a investigação, análise, avaliação, prevenção e atuação em situações definidas, e na promoção da qualidade de vida.
Desde o início da implantação do SINAES o exame tem sido discutido com as comissões de assessores, as sociedades científicas e especialistas em avaliação. Dentro das comissões também foram discutidas as diretrizes do exame e vários avanços foram realizados. Gradativamente, o modelo do exame foi sendo lapidado e várias falhas foram sendo sanadas. Sendo um exame que é usado como componente de um sistema mais amplo de avaliação, as exigências para o exame não podem mudar a cada ano, pois as IES precisam sentir que existem critérios claros que elas devem cumprir para atingir metas de qualidade.
Além disso, em educação, as mudanças não são imediatas e atitudes levam, às vezes, décadas para serem mudadas. Assim, deve existir uma certa constância naquilo que é exigido, pois as IES precisam ter clareza do que ocorrerá a médio e longo prazo. Infelizmente, a troca constante dos altos escalões administrativos é acompanhada de mudanças que prejudicam a evolução e consolidação de um sistema. A mudança nos altos escalões não pode vir acompanhada de mudanças nas boas políticas públicas em curso. A implantação da política deve vir acompanhada de ajustes finos e adequações necessárias, pois, no caso do SINAES, como o próprio nome diz, o conceito subjacente é dinâmico e, mesmo durante a implantação, ajustes podem ser realizados; o que não pode ocorrer é uma mudança na concepção e um apego excessivo a índices.
Existem alguns pontos que não podem deixar de ser mencionados com relaçao ao exame, pois muitos textos publicados na imprensa tratam de forma equivocada os resultados do ENADE. Em primeiro lugar, não pode ser subtraída a nota do ingressante da nota do concluinte e acreditar que isso seria um indicador de valor agregado. Mesmo quando são feitas as simulações, onde é suposto que as amostras são comparáveis, isto é, que quando o concluinte ingressou na IES apresentava as mesmas características que o ingressante isto deve estar claramente explicitado.
As provas de diferentes cursos não são comparáveis entre si. A única possibilidade de comparação é no componente de formação geral de um mesmo ano do exame. Por exemplo, é um erro grosseiro comparar as médias das notas de dois grupos de engenharia, pois, só o componente de formação geral e a parte comum das provas dos oito grupos de engenharia são comparáveis. Outro exemplo de erro grave é comparar as médias da pedagogia com as médias das notas obtidas pelos estudantes da Escola Normal Superior, pois, embora ambas formem professores, são duas provas distintas, cujas matrizes foram elaboradas por comissões distintas e não têm comum nem mesmo as questões de formação geral. Ignorar estes aspectos é ignorar mais de um século de evidências empíricas que estão disponíveis na literatura especializada.
Infelizmente, essas comparações e rankings são de grande gosto popular e propagandístico. A mídia pode elaborar ranqueamentos, pois os resultados são públicos, embora nada contribuam para que as IES melhorem, embora exista a crença disseminada de que ocorrem mudanças quando da divulgação. Os documentos oficiais que tratam do ENADE indicam que, na passagem pela IES, além de dominar os conhecimentos e desenvolver as habilidades e competências necessárias para o perfil da profissão escolhida, espera-se que os graduandos evidenciem a compreensão de temas que transcendam ao seu ambiente próprio de formação e sejam importantes para a realidade contemporânea. Essa compreensão vincula-se a perspectivas críticas, integradoras e à construção de sínteses contextualizadas. Esse componente da prova não trata de conhecimentos gerais, mas, sim, da formação do estudante que ultrapassa os conteúdos tratados em disciplinas. São temas próprios da formação de cidadãos conscientes, engajados e aptos a atuar com ética e consciência social em um mundo com diferentes exigências.
Atendendo a este aspecto e buscando dar maior clareza e objetividade ao esperado na parte de formação geral, em termos de habilidades acadêmicas e competências profissionais, a comissão de formação geral re-elaborou o esperado dos estudantes. Assim, desde o ENADE2007, consta que o componente de Formação Geral buscará verificar as capacidades de: ler e interpretar texto; analisar criticamente as informações, extrair conclusões por indução e/ou dedução; estabelecer relações, comparações e contrastes em diferentes situações; detectar contradições; fazer escolhas valorativas avaliando conseqüências; questionar a realidade e argumentar coerentemente.
Para as competências, foi estabelecido que no ENADE 2007, no componente de Formação Geral, os estudantes deverão demonstrar competências para projetar ações de intervenção; propor soluções para situações-problema; construir perspectivas integradoras; elaborar sínteses e administrar conflitos.
A mudança permitiu sinalizar para as IES o que é esperado dos estudantes nesta parte da prova, pois essa é a única parte que é comparável para todos os estudantes do país. Embora a impossibilidade de comparação seja conhecida, existe uma forte tendência dos formuladores de políticas públicas de estabelecer indicadores e rankings. Os indicadores são aspectos (quantitativos e qualitativos) que possibilitam obter evidências concretas que, de forma simples ou complexa, caracterizam e retratam a realidade dos múltiplos elementos institucionais. A elaboração de indicadores é um excelente meio de visualizar a realidade das IES; o problema é o uso desses indicadores.
Embora o SINAES tenha sido elaborado a partir da idéia de que a nota, que leva à construção de rankings não é um bom indicador da qualidade do curso, os ranqueamentos permanecem desde o primeiro ENC ("provão").
Em 2004 começou a ser implementado o ENADE, sendo saúde e agrárias as primeiras áreas examinadas. Neste primeiro ano apareceu o conceito ENADE, obtido através de uma fórmula que mistura ingressantes e concluintes (embora com pesos diferentes) e insere a parte específica da prova ou, dependendo do curso, apresenta questões diferentes para diferentes habilitações ou ênfases, tendo sido construído, pela mídia, um ranqueamento usando critérios bastante discutíveis.
Em 2005 (áreas de engenharias e licenciaturas) foi mantido o conceito ENADE e também foram construídos ranqueamentos. No ENADE2006 apareceu o Indicador de Diferença de Desempenho observado e esperado (IDD), também acompanhado de ranqueamento.
Finalmente, no ENADE2007, quando seria possível medir o progresso dos estudantes, visto que nesse ano a primeira área (área da Saúde e Agrárias), que fez o exame em 2004, voltou a ser examinada, apareceram dois novos indicadores que contrariam a concepção do SINAES e os procedimentos estabelecidos para a implantação do sistema. Na apresentação dos resultados do exame, foram divulgados pelo MEC-INEP dois novos índices, a saber, o Conceito Prévio e o Índice Geral de Cursos (IGC).
O Índice Geral do Curso (ICG), de acordo com as informações disponíveis no site do INEP/MEC, é uma média ponderada dos conceitos dos cursos de graduação e pós-graduação da IES. Para ponderar os conceitos, utiliza-se a distribuição dos estudantes da IES entre os diferentes graus de ensino (graduação, mestrado e doutorado). Esse indicador será usado como referencial orientador das comissões de avaliação institucional.
Já o Conceito Preliminar do Curso foi estabelecido a partir de duas questões do questionário de avaliação discente da educação superior. As questões utilizadas contém cinco alternativas de resposta, mas essas foram transformadas para 3 opções em um caso (computa 1 para respostas às duas primeiras alternativas e zero para as demais) e 2 opções na outra questão escolhida para servir de avaliação para todo o curso de graduação: Sim (1 ponto); todas as outras (zero). As duas únicas questões utlizadas são relativas aos planos de curso e às condições do curso. Além destas duas questões, a construção desse indicador utiliza ainda o número de professores doutores expresso no cadastro.
Finalizando, é importante tecer algumas considerações sobre a avaliação em sala de aula e a avaliação em larga escala, geralmente do tipo lápis e papel. Considero que a avaliação do progresso acadêmico dos estudantes é importante e deve constituir parte das políticas públicas, porém precisam ser estabelecidos o limite e o real alcance desse tipo de avaliação, pois eles diferem de maneira crucial na própria concepção, no tipo de exame, no alcance, na forma de administração e utilização dos resultados da prova (por exemplo, se será usada ou não como nota para o estudante), etc. Os resultados da avaliação assumem diferentes significados e, por esta razão, o resultado da avaliação do desempenho acadêmico dos estudantes deve ser visto dentro de duas possibilidades que vêm sendo tratadas na literatura desde a década de quarenta do século passado: o significado da avaliação para o professor e o significado da avaliação para o elaborador de políticas públicas.
O professor busca avaliar e entender o processo de aprendizagem. O significado e o uso da avaliação para o professor é mais no sentido de acompanhar a aprendizagem dos estudantes e fornece feedback sobre os métodos usados. O resultado é passível de ser discutido com o estudante de forma que ele perceba onde precisa melhorar, pode ser compartilhado com a família e com os demais professores da instituição e serve também para o professor efetuar correções no seu planejamento de ensino.
O significado e uso da avaliação para o elaborador de políticas públicas é extremamente distante do significado que tem para o professor. A visão do elaborador de políticas públicas é uma visão diferente da do professor que conhece, pelo menos de forma razoável, a escola e a comunidade onde atua. O uso que este faz dos resultados da avaliação (que é compartilhada com os diferentes poderes governamentais) é muito mais para estabelecer ranking que compreender os processos envolvidos. Além disso, na maioria das vezes os indicadores são usados para a alocação de recursos e para tornar pública uma imagem da instituição.
Embora o SINAES e, posteriormente o ENADE tenha sido concebido de forma a evitar ranqueamentos e punições, em Setembro de 2008, o próprio Ministério da Educação divulgou um ranking. Até então, isso não havia ocorrido. Se o objetivo fundamental do ENADE vai ser produzir um ranqueamento, os ingressantes devem ser excluídos do exame porque apenas "prejudicam" os resultados das IES. O objetivo central do exame foi perdido porque ele foi feito para aferir o progresso do estudante e o questionário de avaliação discente pode ser resumido a duas questões.
O ENADE evoluiu ou regrediu? Do meu ponto de vista, regrediu. Na proposta original do exame, o interesse seria no conjunto de elementos que compõem o SINAES. Várias transformações foram sendo impostas na análise do exame. Todos os indicadores são válidos, mas é o conjunto deles, como bem expresso no SINAES, que pode, ainda que de forma incompleta, mostrar uma IES e como ela contribui para com a sociedade.
Datas de Publicação
-
Publicação nesta coleção
14 Nov 2008 -
Data do Fascículo
Nov 2008
