Avaliação e regulação da educação superior: uma análise a partir dos primeiros 10 anos do SINAES⁽¹⁾

Evaluation and regulation of higher education: an analysis based on the first 10 years of SINAES

Resumo

No presente artigo é focalizada a relação entre a avaliação e a regulação da Educação Superior no âmbito do Sistema Nacional de Avaliação da Educação Superior – SINAES. São analisadas as tendências e tensões associadas a tal relação evidenciadas durante os primeiros dez anos do referido Sistema Nacional. No texto argumenta-se que, embora frequentemente confundidos um com outro, avaliação e regulação representam processos distintos que podem ser, ao mesmo tempo, complementares e também antagônicos, pois se por um lado uma articulação entre os dois processos faz-se necessária, por outro tal articulação pode gerar distorções não desejáveis. O artigo é iniciado com uma definição dos dois conceitos e depois é discutida suas aplicações no âmbito da educação superior brasileira. Em seções subsequentes são considerados os dois processos em relação aos indicadores utilizados pelo SINAES e à proposta de criação do Instituto Nacional de Avaliação e Supervisão da Educação Superior – INSAES. Nas considerações finais, ressalta-se a necessidade de medidas para assegurar a independência e a autonomia de cada processo, avaliação e regulação, em relação ao outro.

Palavras-chave
Avaliação; Regulação; Educação superior; SINAES

Abstract

This article focuses on the relationship between the evaluation and regulation of Higher Education within the context of the National System of Higher Education Evaluation – SINAES. Tendencies and tensions associated with the said relationship are examined with respect to the first ten years of the National System. The text argues that, although frequently confused with one another, evaluation and regulation represent distinct processes which can be simultaneously complementary and antagonistic. On the one hand, an articulation between the two processes is necessary; on the other, such articulation can generate undesired distortions. The article begins by defining the two concepts and then discusses their applications within the context of Brazilian higher education. In subsequent sections the two processes are considered in relation to the indicators utilized by SINAES and to the proposal to create the National Institute of Higher Education Supervision and Evaluation – INSAES. The article concludes by emphasizing the need for measures to assure the autonomy and independence of each process, evaluation and regulation, in relation to the other.

Keywords
Evaluation; Regulation; Higher education; SINAES

Introdução

Neste artigo é apresentada uma analise da relação entre a avaliação e a regulação da educação superior no contexto do Brasil a partir de ponderações fundamentadas na experiência vivida pelo Sistema Nacional de Avaliação da Educação Superior – SINAES durante seus primeiros dez anos de existência. Instituído pela Lei 10.861, de 14 de abril de 2004, o referido Sistema Nacional tem como finalidades a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional, acadêmica e social, e, ainda, a promoção do aprofundamento dos compromissos e responsabilidades das instituições de educação superior. Baseado em um relatório bem fundamentado, produzido por uma comissão composta de especialistas renomados na área, o SINAES aproveitou aspectos de uma experiência nacional já construída, mas, ao mesmo tempo, foi muito além das iniciativas que o antecederam, tais como o PAIUB e o ENC (Provão), pois prometeu articular avaliação educativa, de natureza formativa, com os processos de regulação (supervisão e fiscalização) exercidos pelo Estado, de forma a respeitar uma série de princípios largamente aceitos, tais como o respeito à identidade e à diversidade institucional, dentre muitos.

Com a recente comemoração do decimo aniversário do SINAES, cabem reflexões e análises criticas sobre seu processo de implementação, buscando subsídios para aperfeiçoamentos necessários. Assim, no presente artigo focaliza-se um dos aspectos centrais da referida implementação: a relação entre avaliação e regulação e as tendências e tensões a ela associadas. No texto argumenta-se que, embora frequentemente confundidos um com outro, avaliação e regulação representam processos distintos que podem ser, ao mesmo tempo, complementares e também antagônicos, pois se por um lado uma articulação entre os dois processos faz-se necessária, por outro tal articulação pode gerar distorções não desejáveis.

O artigo se inicia com uma definição dos dois conceitos e depois discute sua aplicação no âmbito da educação superior brasileira. Nas seções subsequentes são considerados os dois processos em relação aos indicadores utilizados pelo Sistema Nacional de Avaliação da Educação Superior – SINAES e a respeito da proposta de criação do Instituto Nacional de Avaliação e Supervisão da Educação Superior – INSAES. Na última seção são tratadas as considerações finais, ressaltando as articulações e tensões observadas no contexto brasileiro a partir da experiência acumulada no âmbito do SINAES. Conclui-se que se por um lado a articulação entre avaliação e regulação é imprescindível, por outro, uma tensão entre elas é praticamente inevitável, pois são processos distintos, exigindo procedimentos, competências e posturas diferenciados.

Avaliação e Regulação: os conceitos

A respeito do conceito “regulação”, vale consultar o trabalho de Christopher Hood, um dos maiores especialistas sobre o assunto. De acordo com sua análise, existem três mecanismos principais que são utilizados para a regulamentação de atividades e serviços do estado: (1) controle, através de diretrizes do governo; (2) competição, através da valorização de relações do mercado; e (3) influência horizontal de pares, manifestada através de processos de autoregulação (HOOD, 2004). A regulação aqui focalizada trata da primeira alternativa, ou seja, o controle direto do governo exercido para buscar influenciar comportamentos sociais valorizados pelo público (BALDWIN; CAGE; LODGE, 2012). Tal regulação é caracterizada pela aplicação e acompanhamento de regras e normas de natureza obrigatória que são estabelecidas e fiscalizadas por uma agência pública legalmente constituída para tal fim. De acordo com Dill e Beerkens (2013), a regulação governamental direta assume diversas formas: o estado pode definir padrões de qualidade, pode avaliar e cobrar tais padrões, ou/e pode empregar instrumentos formais de natureza legal, financeira e monitoramento. Como será visto abaixo, no caso da regulamentação da educação superior no Brasil, uma combinação dessas três formas é utilizada em âmbito nacional. O que é importante registrar aqui é que as três formas envolvem a tomada de decisões, e tais definições exigem informações sobre a realidade em foco, que são precisas, confiáveis e contextualizadas.

O conceito “avaliação”, por sua vez, pode ser entendido como sendo o levantamento de informações sobre o processo que está sendo avaliado para subsidiar a tomada de decisão com vistas à melhoria do referido processo (MARBACK NETO, 2007). Outros autores definem o conceito de avaliação de forma correlata. Segundo Worthen, Sanders e Fitzpatrick (2004, p. 35), por exemplo, “avaliação é identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor (valor ou mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses critérios”. Na mesma direção, Belloni, Magalhães e Sousa (2007, p. 25) entendem avaliação “como um procedimento sistemático de análise de atividades, fatos ou coisas que permite compreender, de forma contextualizada, todas as suas dimensões e implicações, com vistas a estimular seu aperfeiçoamento”. Assim, a tomada de decisões referente ao valor de algo serve como o ponto de interseção entre avaliação (que fornece as informações necessárias) e regulação governamental (que busca assegurar a oferta de bens e serviços de qualidade aos membros da sociedade).

O problema é que a avaliação funciona para outras finalidades também, fornecendo informações para a tomada de decisão por parte de diferentes atores, em diferentes níveis, em muitos casos distantes das decisões tomadas no âmbito governamental. José Dias Sobrinho faz uma distinção entre avaliação para regulação, que exige informações em larga escala, que são mensuráveis, comparáveis e padronizadas, e avaliação para fins educacionais, com função formativa, que fornece informações para a tomada de decisão no nível da instituição, curso, família ou individuo, que são específicas e contextualizadas. A primeira tende a focalizar resultados e produtos e apresenta uma tendência quantitativa; a segunda prioriza processos e dinâmicas e tende a ser de natureza qualitativa (DIAS SOBRINHO, 2003). Assim, as diferentes finalidades da avaliação tendem a gerar diferentes metodologias, instrumentos e procedimentos que, por sua vez, geram tensões entre avaliação e regulação no contexto da educação superior no Brasil.

Avaliação e Regulação da Educação Superior no Brasil

A legislação brasileira estabelece uma forte relação entre avaliação e regulação no contexto da educação superior. A Constituição Federal de 1988 formalizou princípios para o controle e a garantia da educação, afirmando o dever do Estado em realizar a avaliação de qualidade da educação ofertada pelas instituições de ensino superior, públicas e privadas (BRASIL, 1988). A Lei de Diretrizes e Bases da Educação Nacional (BRASIL, 1996), no seu Artigo 9º, explicita a finalidade da avaliação da educação brasileira e as atribuições da União como sendo “assegurar processo nacional de avaliação de rendimento escolar no ensino fundamental, médio e superior” (Inciso VI), “assegurar processo nacional de avaliação das instituições de educação superior” (Inciso VIII) e “autorizar, reconhecer, credenciar, supervisionar e avaliar, respectivamente, os cursos das instituições de educação superior e os estabelecimentos do seu sistema de ensino” (Inciso IX). Também importante é o conteúdo do Artigo 46º da LDB, pois indica que a “autorização e o reconhecimento de cursos, bem como o credenciamento de instituições de educação superior, terão prazos limitados, sendo renovados, periodicamente, após processo regular de avaliação”. Segundo o parágrafo 1º deste artigo, os resultados do processo regular de avaliação podem gerar sanções e punições, pois uma vez constatadas deficiências, deve ser aberto um prazo para saneamento que geraria nova reavaliação, a qual pode “resultar, conforme o caso, em desativação de cursos e habilitações, em intervenção na instituição, em suspensão temporária de prerrogativas da autonomia, ou em descredenciamento”.

Assim, a LDB consolidou a necessidade dos processos de avaliação, como pilar essencial da educação superior, seja na orientação das diretrizes políticas visando à melhoria do ensino, seja a respeito da orientação de ações de regulação, supervisão e controle estatal por parte dos órgãos públicos competentes.

Na sequencia das disposições sobre avaliação e regulação da educação superior, o Plano Nacional de Educação, instituído pela Lei no. 10.172/2001, determina, no seu Artigo 4º, que: “A União instituirá o Sistema Nacional de Avaliação e estabelecerá os mecanismos necessários ao acompanhamento das metas constantes do Plano Nacional de Educação.” (BRASIL, 2001b). Dessa forma, a avaliação e regulamentação são legalmente consideradas competências da União, a partir da compreensão de que o direito à educação representa um direito social (GRIBOSKI; FUNGHETTO, 2013).

Com base em tais determinações legais e considerando também o relatório produzido por uma Comissão Especial criada em 2003 no início do Governo Lula, o Sistema Nacional de Avaliação da Educação Superior – SINAES foi estabelecido pela Lei 10.861, de 14 de abril de 2004 (BRASIL, 2004). Embora três componentes distintos fossem focalizados - avaliação institucional (AVALIES), avaliação de cursos (ACG) e avaliação do desempenho estudantil (ENADE) - o elemento central do SINAES seria a instituição, de modo a valorizar “os esforços institucionais no sentido do cumprimento científico e socialmente relevante dos processos de construção de conhecimentos e de formação de sujeitos com autonomia epistêmica, ética, social e política” (DIAS SOBRINHO, 2008, p. 825).

Apesar da literatura produzida sobre o SINAES enfatizar sua dimensão formativa/educativa, promovida, principalmente, pelas atividades de autoavaliação a serem instaladas pelas instituições de educação superior, a Lei 10.861/2004 estabelece claramente que o SINAES também deve contribuir para processos de regulação. Seu Artigo 2º afirma que os resultados da avaliação “constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação”. E seu Artigo 10º define que “os resultados considerados insatisfatórios ensejarão a celebração de protocolo de compromisso, a ser firmado entre a instituição de educação superior e o Ministério da Educação”. Subsequentemente, o SINAES foi regulamentado pelo Decreto no. 5.773, de 2006, que dispõe sobre o exercício das funções de regulação, supervisão e avaliação de IES e cursos superiores de graduação no sistema federal de ensino, garantindo que essas três funções se tornariam interligadas (BRASIL, 2006). Em 2007, foi instituído pela Portaria Normativa no. 40 o e-MEC, um sistema eletrônico com o objetivo de dar transparência ao fluxo de trabalho e gerenciamento de informações relativas aos processos de regulação, avaliação e supervisão da educação superior, no sistema federal de educação. Essa portaria teve nova redação em alguns artigos em dezembro de 2010, com a inclusão de novos elementos que não faziam parte do sistema eletrônico, a exemplo da gestão do Banco Nacional de Avaliadores do SINAES - BASis (BRASIL, 2010). A portaria foi reformulada de novo em dezembro de 2012, deixando explicito que os indicadores produzidos pelo SINAES podem ser utilizados para fins de regulação.

Antes de concluir esta seção, vale observar que, como processos distintos, a avaliação e a regulação da educação superior no Brasil são conduzidas por órgãos diferentes. A avaliação realizada no âmbito do SINAES é coordenada pela Comissão de Avaliação de Educação Superior – CONAES, entidade colegiada composta de 13 membros nomeados pelo Ministro da Educação, e é executada nas suas três vertentes (focalizando o desempenho estudantil, os cursos e as instituições) pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP, autarquia vinculada ao MEC que também se responsabiliza pela avaliação da educação básica. Em relação à regulação da educação superior, é preciso fazer distinção entre o sistema federal de educação, que abrange instituições e cursos de instituições federais e também privadas, e os sistemas estaduais e municipais, que, de acordo com a LDB de 1996, são ambos regulamentados através de seus respectivos Conselhos Estaduais de Educação.

Em relação ao sistema federal, a regulação das suas instituições (federais e privadas) é de responsabilidade da Câmara de Educação Superior (CES) do Conselho Nacional de Educação (CNE), órgão colegiado criado em 1995 e composto de 24 membros, dos quais 12 participam da CES⁽²⁾. Inicialmente, o CNE foi também responsável pela regulação dos cursos superiores do sistema federal, mas esta atribuição foi posteriormente transferida para o Ministério de Educação, parcialmente em 2001 e plenamente em 2006⁽³⁾. Dentro do MEC, até recentemente, tal regulação foi realizada por três diferentes secretarias do MEC, dependendo da natureza do curso. A maior parte dos cursos de graduação foi regulamentada pela Secretaria de Educação Superior (SESu), mas os cursos tecnológicos foram regulamentados pela Secretaria de Ensino Profissional e Tecnológica (SETEC) e os ofertados a distância ficaram sob o controle da Secretaria de Educação a Distância (SEED). A partir do Decreto n. 7.690/2012 (BRASIL, 2012), a regulação de todos os cursos superiores de graduação, do sistema federal, passou a ser de responsabilidade exclusiva de uma nova secretaria, denominada a Secretaria de Regulação da Educação Superior (SERES). Considerando que o INEP, a SESu e a SERES têm assentos na CONAES, existe diálogo institucionalizado entre esses três atores e, de forma mais ampla, entre os processos de avaliação e de regulação por eles desenvolvidos.

Avaliação, Regulação e a implementação do SINAES

Fica evidente que de acordo com suas bases teóricas e legais, a avaliação e a regulação são atividades distintas, mas necessariamente interligadas, pois a avaliação serve para alimentar decisões de cunho regulatório. Entretanto, na prática, existem tensões entre os dois processos. Tais tensões tornam-se evidentes ao revisar aspectos associados com a implementação do SINAES.

Apesar de ter uma concepção elegante e bem articulada, a implementação do SINAES se tornou um processo árduo e, para muitos, decepcionante. A avaliação do desempenho estudantil foi implantada imediatamente em 2004, pois já existiam procedimentos e infraestrutura para a aplicação de exames em larga escala, decorrentes do período (1995 a 2003) em que se aplicava o Provão. Também a autoavaliação institucional se iniciou rapidamente, uma vez que, segundo informações fornecidas pelo MEC, a grande maioria das IES no país instituiu sua Comissão Própria de Avaliação no ano de 2004 e encaminhou seu relatório de autoavaliação ao MEC até o final de 2006. A etapa externa da avaliação, por outro lado, tanto de instituições quanto de cursos, demorou a se concretizar. Avaliadores em grande quantidade precisavam ser capacitados, instrumentos de avaliação tiveram que ser formulados, pré-testados e reformulados, e uma estrutura de logística teve que ser montada de modo a contemplar visitas in loco para todas as instituições e todos os cursos de nível superior que se integram ao sistema federal de educação. Enquanto isso, as instituições não recebiam o retorno esperado referente a seus relatórios de autoavaliação e, ainda pior, o exame estudantil, por ser aplicado anualmente, voltou a assumir a centralidade que marcava o período anterior de avaliação da educação superior, de 1995 a 2003 (conhecido como a época do Provão), e que os que conceberam o SINAES pretendiam eliminar. O SINAES estava perdendo sua credibilidade e os processos de regulação, que dependiam dos resultados do SINAES, ficaram paralisados.

Diante desta situação, foram realizados ajustes, definidos pelo MEC e atores a ele associados, referentes à concepção inicial do SINAES e à interpretação de sua lei de instituição. Tais ajustes buscaram viabilizar o SINAES e assegurar sua contribuição para a regulação da educação superior. Mas também geraram consequências não esperadas, especialmente no que concerne a relação avaliação/regulação.

Um exemplo de tal ajuste foi o lançamento do CPC - Conceito Preliminar do Curso, instalado pela Portaria Normativa MEC nº. 4 de 5 de agosto de 2008. Para entender a lógica do CPC, é importante saber que a documentação que conceituou o SINAES deixou claro que todos os cursos superiores que compõem o sistema federal de educação teriam que, obrigatoriamente, receber uma visita por uma comissão de especialistas para avaliação dos cursos. Além disso, foi entendido que a periodicidade de tais visitas deveria acompanhar o ciclo trienal do ENADE, o que significava que, de três em três anos, em torno de 30 mil cursos (todos de instituições federais + todos de instituições privadas) deveriam receber uma visita avaliativa in loco. A proposta era teoricamente boa, mas não viável diante das condições reais existentes. O INEP estima que, em um contexto de otimização total, seria possível realizar, no máximo, 6000 visitas por ano (aproximadamente 100 por semana). Tais visitas teriam que contemplar não apenas os cursos já no sistema, mas também cursos solicitando autorização e seu primeiro reconhecimento, além de instituições buscando credenciamento e recredenciamento. Em outras palavras, visitar todos os cursos no sistema no período de três anos nunca foi ou será factível. O que fazer diante deste impasse? Várias possibilidades de solução foram consideradas pelo MEC. A opção escolhida foi a de limitar as visitas para os cursos mais problemáticos. Para identificar tais cursos, o CPC foi criado, constituindo-se em um índice de qualidade de cursos construído a partir de dados existentes. Seus componentes captam as dimensões de avaliação estabelecidas pela Lei do SINAES, ou seja, organização didático-pedagógica, perfil do corpo docente e instalações físicas, e as variáveis que o compõem são identificadas matematicamente, utilizando dados do censo da educação superior, do ENADE e do questionário que acompanha o ENADE. Sua aplicação resulta na atribuição de conceito (de 1 a 5) para todos os cursos no sistema (exceto para aqueles novos ou sem informação suficiente para o cálculo, que recebem um registro “Sem Conceito”, S/C). Os cursos que recebem um conceito insatisfatório (1 ou 2) são visitados obrigatoriamente e seu conceito final é atribuído pela comissão que o avaliou in loco. Os outros cursos (os com conceitos de 3, 4 ou 5) podem solicitar uma visita avaliativa, mas, se não o fizerem dentro de 30 dias, o conceito preliminar é mantido como conceito final. Como consequência, aproximadamente 25% dos cursos têm que ser visitados, o que torna alcançável o número total de visitas que precisam ser realizadas por ano (BRASIL, 2009a).

Outro ajuste, igualmente importante, foi a introdução do Índice Geral de Cursos (IGC), criado pelo MEC, conforme Portaria nº 12, de 05 de setembro de 2008. O IGC busca consolidar informações relativas aos cursos superiores constantes dos cadastros, censo e avaliações oficiais disponíveis no INEP e na CAPES para servir de referência ao processo avaliativo da avaliação institucional externa. O IGC é calculado com base nas médias ponderadas dos CPCs e das notas dos programas de pós-graduação, sendo a ponderação determinada pelo número de matrículas em cada um dos cursos de graduação e de pós-graduação stricto sensu.

Para compreender a relevância deste Índice, é necessário reconhecer as limitações inerentes de uma avaliação in loco, cujos resultados tenham efeitos regulatórios. A legislação do SINAES estabelece que as visitas realizadas pelas comissões de avaliação resultem “na aplicação de conceitos, ordenados em uma escala com 5 (cinco) níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas” (Art. 3, § 3º da Lei 10.861/04). A obtenção de um resultado insatisfatório (conceito final abaixo de “3”) enseja a celebração de protocolo de compromisso para efetuar as melhorias identificadas como necessárias, a ser firmado entre a instituição e o Ministério da Educação. O descumprimento do referido protocolo poderá resultar na aplicação de penalidades, indo da suspensão temporária da abertura de processo seletivo de cursos de graduação até a cassação da autorização de funcionamento da instituição em questão (Art. 10, inciso IV, § 2º da Lei 10.861/04). Assim, as visitas de avaliação não são apenas para feedback, orientações e a formulação de recomendações. Suas consequências são de grande impacto, podendo afetar a própria sobrevivência da IES. Levanta-se a questão, portanto, se uma comissão composta tipicamente por três pessoas, que normalmente passam, no máximo, três dias na IES, deva ter tanto poder assim. Vale lembrar que a grande maioria dos avaliadores do INEP são pessoas inexperientes em relação a este tipo de atividade, tendo recebido uma capacitação de apenas quatro dias de duração e não tendo realizado nenhuma visita avaliativa previamente. Pergunta-se como uma comissão assim composta pode avaliar e ranquear, em uma escala única de 5 níveis, 10 dimensões de natureza extremamente ampla, sem ter nenhuma visão sistematizada e comparativa quanto à situação existente em outras instituições de educação superior. Diante deste dilema, o IGC foi criado para referenciar os resultados das avaliações efetuadas pelas comissões, pois a média dos conceitos obtidos pelo conjunto de seus cursos é, claramente, uma possível medida da qualidade da instituição como um todo. Quando o conceito da comissão é muito diferente do que aquele dado pelo IGC, são levantadas dúvidas sobre a qualidade da visita realizada. Em tais casos, conforme estipulado no Art.17 da Portaria Normativa MEC Nº. 40, de 12/12/2007, o resultado da avaliação é impugnado pela SESu e o processo encaminhado à Comissão Técnica de Acompanhamento da Avaliação – CTAA para sua apreciação. Cabe à CTAA, após análise da documentação disponível, decidir ou pela manutenção do parecer da comissão de avaliação, ou pela reforma do parecer da comissão de avaliação, ou pela anulação do referido parecer, determinando a realização de nova visita. Desta forma, o IGC serve para objetivar a avaliação da instituição. Vale acrescentar que o CPC, já discutido, funciona da mesma forma, pois a CTAA decide de igual modo quando o CPC e o conceito dado pela comissão de visita são discrepantes. É importante ressaltar, no entanto, que, diferentemente do CTC, o IGC não serve para reduzir o número de visitas realizadas. A intenção do MEC é garantir uma visita para todas as IES que compõem o sistema federal de educação, de acordo com a periocidade estabelecida nos atos credenciamento e recredenciamento.

Para alguns, como este autor, os ajustes acima destacados foram necessários para a viabilização do Sistema Nacional de Avaliação da Educação Superior (VERHINE, 2010). Para outros, no entanto, as mudanças continham implicações bastante negativas. Nas palavras de José Dias Sobrinho (2008, p. 820), o coordenador da comissão que concebeu o SINAES, as recentes ações do MEC “interrompem a construção de um processo participativo e promovem o retorno a posturas, axiomas e enfoques próprios do paradigma técnico-burocrático”. Nessa mesma linha de argumentação, Limano afirma que as novas medidas constituem “a descontinuidade de uma política pública virtuosa” (2008, p. 873) e Polidori (2009, p. 440) alega que elas “ferem, profundamente, a concepção do atual Sistema de Avaliação da Educação Superior no país”.

Fica evidente que um dos problemas com a utilização do CPC e IGC é que como indicadores que são facilmente calculados, divulgados e compreendidos, eles ganharam uma relevância maior do que a esperada por seus formuladores, tornando-se mais importantes, tanto na consciência pública quanto nas decisões de regulação, do que os conceitos gerados pelas comissões de visita. Conforme Barreyro (2008, p. 867), a publicização de índices tais como o CPC e o IGC “tem grande apelo popular, porque eles simplificam realidades complexas”. O fato de que os índices são considerados legítimos pelo público faz com que os aspectos dos processos avaliativos que são mais complexos, como a dinâmica da autoavaliação institucional, não sejam adequadamente valorizados. Além disso, sua simplicidade e aparente legitimidade cria um incentivo para seu aproveitamento por parte de órgãos de regulação, o que pode distorcer a delicada relação entre avaliação e regulação na sua forma originalmente planejada.

O uso do CPC e do IGC para fins de regulação é problemático por, no mínimo, duas razões. O primeiro problema é que o CPC e o IGC são indicadores frágeis, fortemente limitados pela ausência de dados que, por um lado, melhor representem as diversas dimensões de uma instituição ou um curso e, por outro, assegurem níveis desejáveis de validade e confiabilidade. É por isso que o CPC, que é o componente principal do IGC, tem sido modificado diversas vezes, pois há uma necessidade constante de buscar informações mais precisas e variadas e sofisticar ainda mais as análises estatísticas que são utilizadas nos cálculos.

Outro aspecto problemático é o fato de que os resultados do CPC e do IGC são baseados na curva normal, que indica que os conceitos atribuídos são relativos, não revelando uma obtenção de uma qualidade mínima absoluta considerada aceitável. Com o uso desses indicadores, sempre haverá em torno de 25% das instituições e dos cursos com resultado insatisfatório, independente de sua qualidade verdadeira. A avaliação realizada através das visitas, por outro lado, se baseia em critérios preestabelecidos, o que significa que, teoricamente, todas as instituições e todos os cursos avaliados podem receber resultado satisfatório (ou insatisfatório), dependendo do nível de qualidade alcançado por cada unidade. Existe uma visão consensual na literatura internacional sobre regulação de que decisões governamentais sobre a legitimidade de instituições e cursos de educação superior devem ser baseadas em critérios absolutos (e não relativos) de qualidade, pois não faz sentido partir da suposição de que um percentual predeterminado deles apresenta nível de qualidade insatisfatória (BILLING, 2004).

Avaliação, Regulação e o INSAES

Uma análise das possíveis complementaridades e tensões entre avaliação e regulação fica especialmente pertinente considerando o teor do Projeto de Lei 4.372/2012, criando o Instituto Nacional de Supervisão e Avaliação de Educação Superior – INSAES, que foi inicialmente encaminhado pelo Poder Executivo à Câmara de Deputados do Congresso Federal Brasileiro em 31 de agosto de 2012. O projeto encontra-se atualmente em processo de tramitação, aguardando aprovação pela Câmara de Deputados e subsequente encaminhamento ao Senado Federal. O referido PL, no seu Art. 3º, estabelece que a avaliação da educação superior e os consequentes processos de regulação e supervisão sejam realizados no âmbito da mesma instância. A esperança de que o Instituto vai estreitar a relação entre avaliação e regulação, no sentido de agilizar decisões de natureza regulatória que, na opinião de pessoas chaves no MEC⁽⁴⁾, são prejudicadas pela lentidão do fluxo entre as entidades atualmente envolvidas na avaliação/regulação. A proposta do PL é defensável e poderia ser mantida, mas somente na medida em que os problemas associadas com a integração dos dois processos distintos sejam reconhecidos e solucionados. A literatura internacional revela a importância da divisão entre os dois temas. Tal divisão é imprescindível para dar ênfase ao fato de que a regulação é apenas uma entre as diversas consequências das ações avaliativas. Como constatado anteriormente no presente texto, tais ações são desenvolvidas para orientar decisões variadas, não apenas as das autoridades públicas referentes à regulação e ao estabelecimento de políticas públicas, mas também as tomadas por alunos e suas famílias ao fazerem escolhas entre opções de estudo e por lideranças acadêmicas que busquem melhorias nos níveis do curso e da instituição. Vale acrescentar que de acordo com entendimentos no âmbito internacional, a regulação pode ser entendida como uma política de “governo”, pois seu grau de exigência pode (e deve) ser ajustado em função de políticas (às vezes conflitantes) de expansão e de garantia de padrões de qualidade mínima. A avaliação, por outro lado, deve ser entendida como uma política de “estado”, pois procedimentos e critérios têm que ser fundamentados numa concepção de qualidade e baseados em noções de ordem técnica, protegidos de interferências de natureza política e/ou imediatista. Assim, na opinião do autor do presente texto, é imprescindível que, no interior do INSAES, os processos de avaliação estejam desenvolvidos de forma autônoma, independente dos de supervisão e de regulação. Para garantir a independência e a autonomia acima sugerida, uma serie de medidas concretas deveriam ser implementadas. As recomendações sumarizadas abaixo foram formuladas pelo autor do artigo em pauta⁽⁵⁾ e subsequentemente aprovadas pela plenária da CONAES, sendo posteriormente encaminhadas às instancias pertinentes (BRASIL, 2013). São elas:

a) Uma das Diretorias do INSAES deve tratar, especificamente, da avaliação de educação superior. Idealmente, sua estrutura de seguir o modelo estabelecido pela Diretoria de Avaliação da Educação Superior – DAES, do INEP, no qual são contempladas diretorias específicas para lidar com os diferentes componentes do SINAES.

b) O Conselho Superior do INSAES deve ser composto por um número razoável de membros com experiência aprofundada no campo da avaliação da educação superior. Neste sentido, é importante que, ao escolher os membros, sejam ouvidas as associações e sociedades acadêmicas que representam os avaliadores renomados do Brasil.

c) Além disso, é recomendável que o Presidente da CONAES tenha um assento permanente no referido Conselho, para fortalecer a articulação entre o INSAES e as outras instâncias que compõem o Sistema Nacional de Avaliação da Educação Superior.

d) É importante que o papel do Conselho Superior, como órgão de orientação das atividades do INSAES, seja distinto do da CONAES, como órgão responsável pela coordenação e supervisão da CONAES.

e) Ao definir o quadro técnico do novo Instituto, deve-se reconhecer que os conhecimentos, habilidades e competências do especialista em avaliação diferem dos do especialista em supervisão. Assim, os cargos desses dois tipos de especialista devem ser distintos, cada um com seu próprio perfil e termo de referencia.

f) Finalmente, é importante considerar a autonomia acadêmica e a responsabilidade social da agência como um todo. A credibilidade dos processos de regulação e avaliação é essencial para sua legitimidade, flexibilidade e eficiência. Assim, a “independência” de agências responsáveis para tais atividades, em relação a instituições de educação superior, a governos e a entidades de influencia política, é amplamente defendida em toda parte do mundo (BRENNAN; SHAH, 2000). Atualmente, tais agências são avaliadas externamente, de forma pública, por entidades internacionais criadas por tal fim e por órgãos nacionais de auditória que se especializam na fiscalização de regimes e instituições de regulação. O Projeto de Lei 4372/2012 não trata da independência e da fiscalização externa do INSAES. Mas tais mecanismos devem ser construídos no processo de sua implementação, buscando assegurar para o INSAES a credibilidade e a legitimidade necessárias para o seu bom funcionamento.

Considerações Finais

O presente artigo buscou demonstrar que no contexto do SINAES, a articulação entre os processos de avaliação e de regulação é imprescindível, pois as informações produzidas pelas atividades avaliativas alimentam e fundamentam as decisões no âmbito da regulação, decisões essas que tratam da autorização, do reconhecimento e da renovação de reconhecimento de cursos superiores, bem como do credenciamento e do recredenciamento de instituições de educação superior. Deve ser compreendido, no entanto, que os dois processos são distintos e que existem tensões entre eles. No contexto do SINAES, tais tensões têm sido evidentes no uso indevido de indicadores para fins de regulação, na desvalorização dos aspectos formativos da avaliação e na iniciativa de integrar avaliação e regulação em uma única agência, prejudicando a autonomia e independência de cada processo em relação ao outro. Estas tensões derivam-se, em parte, do fato de que a avaliação da educação superior no Brasil pode ser vista como sendo uma política de estado, enquanto a regulação da educação superior tende a funcionar como uma política de governo. Cabe à avaliação produzir informações que são cientificamente válidas, confiáveis e comparáveis no decorrer do tempo, através de processos realizados por especialistas que atuam livre de interferências externas que possam prejudicar a qualidade do conhecimento gerado. A regulação governamental, por outro lado, procura atender políticas estabelecidas por determinadas administrações e, no caso da educação superior, pode promover o alcance de metas de expansão e de qualidade de acordo com os interesses dos governantes e da população que lhes apoiam. Assim, existe na regulação cobranças para respostas que são rápidas e de acordo com políticas nacionais, o que pode gerar pressões para que a avaliação funcione da mesma forma, contrariando princípios que fundamentam processos avaliativos de alta qualidade. Para preservar a integridade da avaliação em relação à regulação, duas medidas são recomendadas. Primeiro, manter, estruturalmente e conceitualmente, a independência e a autonomia de cada um dos dois processos. Segundo, repensar a natureza da regulação. Neste sentido, concluímos com palavras pertinentes expressas pela Comissão Especial que criou o SINAES:

Para superar a concepção e a prática da regulação como mera função burocrática e legalista, é necessário construir uma outra lógica, com um outro sentido filosófico, ético e político: que a regulação não se esgote em si mesma, e, principalmente, articulada à avaliação educativa propriamente dita, seja também uma prática formativa e construtiva (BRASIL, 2009b, p. 95).

Referências

• BALDWIN, R.; CAVE, M.; LODGE, M. Understanding regulation: theory, strategy and practice. Oxford: Oxford University Press, 2012.
• BARREYRO, G. B. De exames, rankings e mídia. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 863-868, 2008.
• BELLONI, Isaura; MAGALHÃES, Heitor de; SOUSA, Luzia C. Metodologia de avaliação em políticas públicas: uma experiência em educação profissional. São Paulo: Cortez, 2007.
• BILLING, David. International comparisons and trends in external quality assurance. Higher Education, Berlim, v. 47, p. 113-137, 2004.
• BRASIL. Constituição da Republica Federativa do Brasil. Brasília, DF: Senado Federal, 1988.
• BRASIL, Decreto n. 3.860, de 09 de julho de 2001. Dispõe sobre a organização do ensino superior, a avaliação de cursos e instituições e dá outras providências. Diário Oficial da União, Brasília, DF, 10 jul. 2001a.
• BRASIL. Lei n. 10.172, de 09 de janeiro de 2001b. Aprova o Plano Nacional de Educação e dá outras providências. Diário Oficial da União, Brasília, DF, 2001b.
• BRASIL. Decreto n. 5.773, de 09 de maio de 2006. Dispõe sobre o exercício das funções de regulação, supervisão e avaliação das instituições de educação superior e cursos superiores de graduação. Diário Oficial da União, Brasília, DF, 10 maio 2006.
• BRASIL, Decreto n. 7.960, de 02 de março de 2012. Aprova a Estrutura Regimental e o Quadro Demonstrativo dos Cargos em Comissão e das Funções Gratificadas do Ministério da Educação. Diário Oficial da União, Brasília, DF, 3 mar. 2012.
• BRASIL, Lei n. 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei n.º 4.024, de 20 de dezembro de 1961, e dá outras providências. Diário Oficial da União, Brasília, DF, 1995.
• BRASIL. Lei n. 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 1996.
• BRASIL. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior (SINAES). Diário Oficial da União, Brasília, DF, 2004.
• BRASIL. Ministério de Educação; Comissão Nacional de Avaliação da Educação Superior. Ponderações da CONAES referentes à implantação do PL 4372/2012, após aprovação pelo Congresso Brasileiro. Brasília, DF, 2013.
• BRASIL. Ministério de Educação; Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Avaliação de cursos na educação superior: a função e mecânica do conceito preliminar de cursos. Brasília, DF: INEP, 2009a.
• BRASIL. Ministério de Educação; Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5. ed. Brasília, DF: INEP, 2009b.
• BRASIL. Ministério de Educação. Portaria Normativa n. 40, de 12 de dezembro de 2007. Consolidada em 29 de dezembro de 2010. Institui o e—MEC e consolida disposições sobre indicadores de qualidade, banco de avaliadores (BASis) e o Exame Nacional de Desempenho de Estudantes (ENADE) e outras disposições. Diário Oficial da União, Brasília, DF, 29 dez. 2010.
• BRENNAN, J.; SHAH, T. Managing quality in higher education: an international perspective on institutional assessment and change. Buckingham: OECD, SRHE and Open University Press, 2000.
• DIAS SOBRINHO, José. Avaliação: políticas educacionais e reformas da educação superior. São Paulo: Cortez, 2003.
• DIAS SOBRINHO, Jose. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.
• DILL, David; BEERKENS, Maarja. Designing the framework for assuring academic standards: lessons learned about professional market and government regulation of academic quality. Higher Education, Berlim, v. 65, n. 3, p. 341-357, 2013.
• GRIBOSKI, Claudia. M.; FUNGHETTO, Suzana S. O SINAES e a qualidade da educação. Retratos da Escola, Brasília, v. 7, n. 12, p. 49-64, 2013.
• HOOD, Christopher. Making sense of controls over government. In: HOOD, C; JAMES, O.; PETERS, B.G.; SCOTT, C. (Orgs.). Controlling modern government: variety, commonality and change. Cheltenham, UK: Edward Elgar, 2004.
• LIMANO, A. Desfazendo mitos: o que estão fazendo com o SINAES? Avaliação, Campinas, Sorocaba, v. 13, n. 3, p. 869-873, nov. 2008.
• MARBACK NETO, Guilherme. Avaliação: instrumento de gestão universitária. Vila Velha: Hoper, 2007.
• POLIDORI, M.M.Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e...outros índices. Avaliação, Campinas; Sorocaba, v. 14, n. 2, p. 267-290, 2009.
• VERHINE, Robert E. O novo alfabeto do SINAES: reflexões sobre o IDD, CPC e IGC. In: DALBEN, A.; DINEZ, J.; LEAL, L; SANTOS, L. Convergências e tensões no campo da formação e do trabalho docente. Belo Horizonte: Autêntica, 2010.
• >WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo: Gente, 2004.

• 1
  Uma versão preliminar deste texto foi apresentada no Grupo de Trabalho sobre Regulação e Avaliação da Educação Superior – tensões e contradições, do 5º. Encontro de Educação Superior do Estado de Minas Gerais, Belo Horizonte/MG, 09 de novembro de 2013.
• 2
  Os 24 membros do CNE estão distribuídos igualmente entre a Câmara de Educação Superior e a Câmara de Educação Básica. São nominados pelo Presidente da República para mandatos de 4 anos, sendo pelo menos a metade deles escolhidos a partir de listas elaboradas mediante consulta a entidades da sociedade civil, relacionadas às áreas de atuação dos respectivos colegiados (ver Art. 8, § 1º, da Lei n. 9131 de 24 de novembro de 1995) (BRASIL, 1995).
• 3
  Em relação à regulação de cursos superiores do sistema federal, a partir do decreto n. 3.860, de 9 de julho de 2001, a Câmara de Educação Superior do CNE passou a se manifestar somente nos processos de cursos de Direito e dos da área de saúde - Medicina, Psicologia, Odontologia (BRASIL, 2001a). Esta prerrogativa ficou ainda mais restringida pelo Decreto n. 5.773, de 9 de maio de 2006 (BRASIL, 2006), sendo limitada apenas para cursos de pós-graduação stricto sensu. Vale destacar que a avaliação de tais cursos de pós-graduação fica fora do âmbito do SINAES, sendo realizada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES.
• 4
  Este ponto de vista foi comunicado oralmente para o autor do presente texto pelo Chefe do Gabinete do Ministro de Educação durante conversas realizadas no mês de março de 2013.
• 5
  Na época, o autor do presente texto atuava como o Presidente da CONAES.

Datas de Publicação

• Publicação nesta coleção
  Nov 2015

Histórico

• Recebido
  26 Maio 2014
• Aceito
  30 Set 2014