De exames, rankings e mídia

Of evaluation, rankings and media

De exames, rankings e mídia

Of evaluation, rankings and media

Gladys Beatriz Barreyro

Doutora em Educação. Professora na Escola de Artes, Ciências e Humanidades (EACH) e no Programa de Pós-Graduação em Integração da América Latina (PROLAM) da Universidade de São Paulo. Pesquisadora do GEPPHAES (Grupo de Estudos e Pesquisas sobre Políticas e História da Avaliação da Educação Superior Brasileira).

RESUMO

O texto analisa o aparecimento do Índice Geral de Cursos (IGC) e do Conceito Preliminar de Curso (CPC), no contexto da avaliação desenvolvida pelo Sistema Nacional de Avaliação da Educação Superior - SINAES, como uma tentativa de renovar práticas de ranking de instituições de educação superior, visando obter visibilidade midiática.

Palavras-chave: Avaliação da Educação Superior. SINAES. Provão.

ABSTRACT

The paper examines the creation of the "General Index of Courses" (IGC) and the "Preliminary Concept of Courses" (CPC) in the context of the National Higher Education Evaluation System (SINAES), as an attempt to renew the practices of ranking of higher education institutions, in order to obtain media repercussion.

Key words: Higher Education Evaluation. SINAES. Provão.

Para começo de conversa sobre o Índice Geral de Cursos (IGC) e o Conceito Preliminar de Curso (CPC), - recém "inventados" pelo Ministério da Educação - e sobre o ranking das Instituições de Educação Superior do país decorrente deles, parece-me necessário contextualizar, porque, como diz um amigo meu, as questões técnicas não têm autonomia, mas mostram ou refletem concepções teóricas ou políticas¹.

Assim, discutir o IGC apenas nos seus aspectos técnicos e sem contextualização pode limitar e empobrecer a discussão sobre a avaliação e a regulação da educação superior, assunto de grande importância pública e não apenas para pesquisadores da área e, especificamente, dessas temáticas.

Isso porque o IGC não surge somente como um índice destinado a resolver os problemas operacionais de avaliar os 22.000 cursos de graduação do país; se assim fosse, não teria tido a ampla repercussão na mídia que teve. Ele veio também, ou principalmente, para possibilitar rankings de Instituições de Educação Superior (IES), apesar de baseado em alguns dados de alguns cursos avaliados de algumas IES...

É bom lembrar que esse IGC não surge do vazio. Da forma como é apresentado, parece que não existiria legislação sobre avaliação da educação superior no Brasil, que ele teria surgido do nada e que a questão seria apenas da validade ou não desse índice ou dessa suposta "nova avaliação".

Como os estatísticos nos dizem, essas construções, ponderações e escolhas também não são inocentes, neutras, nem apenas técnicas.

Então, talvez seja bom lembrar que a avaliação da educação superior é um assunto que aparece já na década de 1980, com o Programa de Avaliação da Reforma Universitária (PARU); traz referências e definições nos documentos da Comissão para a Reformulação da Educação Superior (Comissão de notáveis), no Grupo Executivo para a Reforma da Educação Superior (GERES); e, na década de 1990, no Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), esta uma proposta de avaliação institucional oriunda das próprias universidades.

Em 1997, é implantado o Exame Nacional de Cursos (ENC), ao mesmo tempo em que continuava o PAIUB, tendo este por objetivo avaliar e regular a educação superior que começava a ter um desenvolvimento exponencial, via setor privado, induzido pela legislação infraconstitucional (LDB e decretos que permitiam a diversificação institucional), e como uma forma de viabilizar a autorização do funcionamento de IES e o reconhecimento de cursos, com validade limitada e renovação periódica, a partir de avaliações estabelecidas pela LDB. Essa nova legislação teve como conseqüência a criação de instituições com menores custos, o que gerou a expansão do sistema, preponderantemente no setor privado. Embora o reconhecimento de cursos e o credenciamento das Instituições tenham ficado a cargo do Ministério da Educação, houve um regulador não tradicional análogo à "mão invisível do mercado" do liberalismo clássico (SMITH, 1988, p. 65) que foi o Provão.

Muitos cursos, inclusive nas Universidades públicas, introduzem o uso do score alcançado no Provão como expressão de sua qualidade e publicizam, em forma de faixas e cartazes, a colocação que obtiveram, como indicador de sua posição no ranking acadêmico. Nas universidades privadas, então, o processo tende a ser ainda mais explícito. Na atual conjuntura das políticas avaliativas, o score alcançado, assume o papel balizador fundamental de qualidade. Se o conceito é positivo, passa a ser o grande trunfo de marketing para divulgar a IES e o Curso. Se negativo, catalisa esforços institucionais que procuram alterar esta posição no panorama nacional. (CUNHA; FERNÁNDEZ; FORSTER, 2003).

O Provão foi complementado com outros instrumentos para aprovação e credenciamento de cursos e instituições, como a Avaliação das Condições de Ensino (ACE) e a Avaliação Institucional, mas não perdeu seu caráter emblemático. Como teria dito (certamente com convicção) o então ministro Paulo Renato Souza: "O Provão ganhou na mídia", pois o Provão:

Apesar de suas deficiências, permitia comunicar uma mensagem nos próprios códigos e linguajar da publicidade e o marketing. Apesar de ser questionada tecnicamente a impossibilidade de comparações entre as notas dos diversos cursos, e de não haver gerado o fechamento de nenhum curso, tinha um valor baseado não na verdade, mas na eficácia comunicativa dos conceitos A, B, C, D, E (código no qual eram apresentados os resultados) que constituíam uma mensagem muito clara. (BARREYRO, 2004).

O processo anteriormente descrito, portanto, não foi apenas uma discussão técnica: houve muitos embates. No primeiro governo Lula, em 2003, o secretário de educação superior, Carlos Roberto Antunes, criou uma Comissão Especial de Avaliação (composta por acadêmicos e membros do Ministério) que elaborou um diagnóstico e uma proposta de avaliação da educação superior brasileira denominada Sistema Nacional de Avaliação da Educação Superior (SINAES). No diagnóstico, analisava-se o Provão e afirmava-se que "a sua racionalidade [era]muito mais mercadológica e reguladora do que acadêmica e pedagógica". Também era assinalado que "a divulgação dos resultados do ENC desvinculados de outros processos avaliativos, atribuindo a ele centralidade no sistema de avaliação e autoridade exclusiva ao comunicar ao grande público a suposta qualidade dos cursos" constituía uma limitação, como avaliação do sistema, ao considerar apenas os resultados de exames dos alunos.

Destacava-se que era deficiente pela "adoção de políticas de premiação e punição de instituições com base em conceitos gerados por um instrumento e por uma metodologia deficientes e, portanto, incapaz de expressar com confiabilidade a qualidade dos cursos (CEA, 2003, p. 66).

A proposta que se tentava implantar com esse documento, SINAES, tinha como eixo a avaliação institucional, mudando o foco do aluno para a instituição. Eram previstas dez dimensões para essa avaliação e, complementarmente, também um exame para os alunos, por área. Segundo o documento oficial, tratava-se de uma avaliação formativa que se articularia com a regulação do sistema.

Depois de vários meses, a proposta que veio a ser sancionada com o nome do SINAES foi a que se plasma na lei 10861/04, atualmente em vigor. Esse SINAES finalmente aprovado consta de três eixos que constituem a avaliação da educação superior: avaliação institucional, de cursos e dos estudantes.

Um desses eixos, a avaliação dos estudantes, é o que se constituiu no ENADE (Exame Nacional de Desempenho dos Estudantes), cujos resultados são agora "super-dimensionados" no Conceito Preliminar de Curso (CPC), componente do Índice Geral de Cursos (IGC).

O ENADE tem caráter amostral e se aplica a um conjunto de cursos a cada ano. A mesma prova é aplicada, por curso, tanto aos estudantes do primeiro quanto aos do último ano de cada instituição, por amostra de alunos. As provas de todos os cursos a cada ano têm um componente igual, o de "formação geral". Apesar disso tudo, o ENADE, como todo exame em larga escala, possui várias limitações, assim como o Provão, e uma delas é a de não permitir a comparabilidade dos resultados entre os cursos avaliados num mesmo ano.

Também não permite a comparação entre o mesmo curso avaliado a cada três anos, pois não se utiliza da teoria de resposta ao item, o que permitiria essa comparação.

Por ser o ENADE apenas um dos eixos da avaliação do sistema, chamam atenção o peso e destaque que está tendo na construção desses índices e conceitos.

A avaliação institucional com auto-avaliação, eixo central do SINAES, parece não ter relevância no "ranking" das instituições divulgado pelo ministério, apesar de continuar vigente no SINAES, dado que não houve alteração da lei.

Já o terceiro elemento do sistema de avaliação, a avaliação de curso, que foi incorporado ao SINAES desde a Medida Provisória 147/2003 que instituía o SINAPES, "metamorfoseando" a Avaliação das Condições de Ensino - ACE (BARREYRO; ROTHEN, 2006), aparece distorcido no Conceito Preliminar de Curso (CPC). Ele dá um peso importante aos resultados do ENADE e à "construção" Índice de Diferença de Desempenho (IDD) - elaborada com os dados do ENADE - e avalia a infra-estrutura e o projeto pedagógico do curso, a partir de duas perguntas aos estudantes, no questionário sócio-econômico do ENADE e não pelo instrumento de avaliação de cursos implantado pelo SINAES; mais completo e ainda em vigor, pois a lei não foi alterada.

Surpreende, principalmente, porque esses três elementos da avaliação continuam em vigor: avaliação institucional (com auto-avaliação), avaliação de curso e exame aos estudantes. Surpreende, portanto, que seja criado o IGC (Índice Geral de Cursos) pela portaria normativa n° 12 de 5 de setembro de 2008 "que consolida informações relativas aos cursos superiores constantes dos cadastros, censo e avaliações oficiais disponíveis no Instituto Nacional de Estudos e Pesquisas Anísio Teixeira (INEP) e na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)." Esse índice está baseado na média ponderada dos Conceitos Preliminares de Cursos (CPC), além dos dados da CAPES, e esses conceitos, estabelecidos por Portaria Normativa n° 4 de 5 de agosto de 2008, é que privilegiam os resultados do exame ENADE em detrimento do que estabelece a lei 10861/04, instituidora do SINAES. Aliás, também é importante lembrar a vigência do Decreto Federal 5773/06, o Decreto Ponte, que especifica os mecanismos da regulação do sistema e que não faz qualquer menção a qualquer índice ou conceito.

Ao que parece, o súbito aparecimento do CPC e do IGC não mostra apenas questões técnicas, mas parece responder a lógicas e propostas diferentes da estabelecida no primeiro governo Lula, quando da proposta e aprovação do SINAES. Embora alguns estudos sobre o SINAES mostrem a evidência de um modelo de avaliação em transformação e não definitivo, o novo índice e seus conceitos preliminares parecem levar-nos novamente ao tempo dos rankings, das avaliações mercadológicas e simplificações midiáticas, mais próximos de uma visibilidade publicitária do que da verdade da avaliação da qualidade.

Legislação:

Lei 10861/04.

Decreto 5773/06

Portaria Normativa n° 12, MEC, de 5 de setembro de 2008.

Portaria Normativa n° 4, MEC, de 5 de agosto de 2008.

• BARREYRO, G. B. Do Provão ao SINAES. O processo de construção de um novo modelo de avaliação da educação superior. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 9, n. 2, p. 37-49, jun. 2004.
• BARREYRO, G. B.; ROTHEN, J. C. "SINAES" contraditórios: considerações sobre a elaboração e implantação do Sistema Nacional de Avaliação da Educação Superior. Educação & Sociedade, Campinas, v. 27, especial, 2006.
• COMISSÃO ESPECIAL DE AVALIAÇÃO. SINAES, da concepção à regulamentação Brasília: MEC. INEP, 2007.
• CUNHA, M. I; FERNANDES, C. M.; FORSTER, M. M. Avaliação externa e os Cursos de Graduação: implicações políticas na prática pedagógica e na docência. Perspectivas para o ensino e a docência universitária frente ao impacto das políticas de avaliação externa no Brasil. In: DIAS SOBRINHO, J.; RISTOFF, D. (Orgs.) Avaliação e compromisso público. A educação superior em debate Florianópolis: Insular, 2003. p. 97-112.
• SMITH, A. A riqueza das nações Trad. Luiz João Baraúna. São Paulo: Nova Cultural, 1988. v. II.

1

A propósito, veja-se: Castro, Cláudio de Moura. Quem entendeu a nova avaliação do ensino?

Veja, Edição 2079 de 29.09.08; e VERHINE, Robert. Ajudando a entender a nova avaliação de ensino. (versão eletrônica).

Datas de Publicação

• Publicação nesta coleção
  17 Nov 2008
• Data do Fascículo
  Nov 2008