SINAES: avaliação, accountability e desempenho

SINAES: evaluation, accountability and performance

Resumo:

Neste estudo examinou-se a prática do SINAES, o primeiro Sistema Nacional de Avaliação da Educação Superior do Brasil, e sua operacionalização desenvolvida sob o critério da eficiência institucional em seu produto final, o aluno concluinte. As modalidades do sistema são discutidas: o exame nacional dos cursos, a avaliação externa dos cursos de graduação e o processo de autoavaliação, bem como é analisada a lógica do desempenho por meio de índices criados pelo sistema. Estabelece-se uma discussão acerca do que previa o sistema em seu documento original em relação aos processos de avaliação e regulação e o que efetivamente ocorreu na prática: uma forma incipiente de um modelo de accountability baseado em exame de desempenho. Discute-se a minimização da avaliação e a sobreposição do exame em relação aos demais processos, investigando-se a premissa de que o exame é utilizado como insumo principal para a regulação por ser generalizável para todo o contexto educacional brasileiro. Conclui-se que a diversidade das instituições brasileiras impossibilita a generalização do exame e o uso deste como produto final.

Palavras-chave:
Educação superior; Avaliação; Regulação; Accountability

Abstract:

The study examines the praxis of SINAES, the first national assessment system of higher education in Brazil, comparing your principles with operationalization developed under the criterion of institutional efficiency in achieving their end product: the undergraduate student. The basis of the system is discussed: the performance of students in the national exam, the external assessment of undergraduate courses and the process of institutional self-assessment. The performance logic of the indices created by the system is analyzed. Then, it is a discussion about which provided the system in your original document, in relation to the evaluation and regulation processes, and what actually happened in practice: an inceptive accountability based performance test model. It discusses the minimization of the evaluation and the overlap of the examination compared to other processes. Investigates the premise that the exam is used as main input for the regulation to be generalizable to the entire Brazilian educational context. It concludes that the diversity of Brazilian institutions precludes the generalization of the examination and the use of this as an end product.

Key words:
High education; Evaluation; Regulation; Accountability

Introdução

No Brasil, atribui-se ao PAIUB - Programa de Avaliação Institucional das Universidades Brasileiras, em 1993, o primeiro programa efetivo com vistas à avaliação da Educação Superior em nível nacional, apesar de movimentos anterior tais como: o PARU - Programa de Avaliação da Reforma Universitária, desenvolvido em 1983; a elaboração do relatório da Comissão Nacional de Reformulação da Educação Superior em 1985; e, o relatório do Grupo Executivo para a Reformulação da Educação Superior ocorrido em 1986 (BARREYRO; ROTHEN, 2008). O PAIUB preconizava ser um programa abrangente, sistemático e contínuo (BRASIL, 1993; 1994). No entanto, seu desenvolvimento sofreu uma modificação com a publicação da Lei de Diretrizes e Bases da Educação Nacional (Lei nº 9394/96) e do Decreto 2.026/96, que estabelecia procedimentos de avaliação do desempenho global das instituições, do ensino de graduação e de pós-graduação, além do Exame Nacional dos Cursos, chamado "Provão". Posteriormente, o decreto 3.860/2001 detalhou os indicadores e critérios a serem observados no processo de avaliação. A implantação do Censo da Educação Superior pela Portaria no. 2.517 de 2001 complementou esse processo.

Em 2004 ocorreu nova reforma, com a aprovação da Lei nº. 10.861 que instituiu o Sistema Nacional de Avaliação da Educação Superior - SINAES, coordenado pela Comissão de Avaliação da Educação Superior - CONAES, integrando três grandes modalidades de avaliação: a AVALIES, processo de avaliação institucional conduzido pelas Comissões Próprias de Avaliação (CPA) e comissões externas; a ACG - Avaliação dos Cursos de Graduação; e, o ENADE, o Exame Nacional do Desempenho dos Estudantes. Este último considerado por alguns uma reformulação ou até mesmo uma reedição do exame nacional dos cursos (ROTHEN; BARREYRO, 2011).

Assim, o SINAES aparece como o primeiro sistema de avaliação para a educação superior brasileira, reunindo em si três modalidades que se completariam no processo de avaliação: a avaliação por pares para os cursos, estabelecida por meio a ACG; a avaliação somativa do processo de ensino, configurada no desempenho dos alunos no ENADE; e a avaliação formativa de toda a instituição, por meio do processo continuo de autoavaliação dirigido pela CPA, a AVALIES. Tais avaliações ocorreriam em ciclos que se combinariam: ENADE e ACG em ciclos trienais estabelecidos por área de conhecimento e a AVALIES em um ciclo menor bianual com a elaboração de relatórios parciais e anuais intercalados. Parte desse processo avaliativo seria utilizado para regulação da educação superior, e o sistema se autorregularia a partir da integração das três modalidades, provindas da meta-avaliação (BRASIL, 2004).

Finalizado o primeiro ciclo em 2007, o SINAES passou por transformações importantes, derivadas do fato de que sua operacionalização enfrentou obstáculos de difícil superação, devido principalmente aos problemas relacionados à grande demanda dos exames realizados pelos alunos ingressantes e concluintes no ENADE e a metodologia por amostragem utilizada.

Além disso, a operacionalização das demais modalidades, a AVALIES e ACG, não favoreceram a integração das modalidades e como consequência, a ACG foi minimizada em favor do ENADE, como detalharei adiante. A AVALIES permaneceu sem apreciação externa, a não ser como relatório auxiliar nos processos de recredenciamento das Instituições de Educação Superior (IES). Tem-se com isso uma redução da avaliação para se adequar a premência da regulação, dificultada pelo universo de IES com o crescente aumento no número de cursos de graduação e de alunos.

A centralidade do ENADE na interação entre as três modalidades de avaliação se explicita com a publicação de índices cuja construção depende em boa parte do desempenho alcançado pelos alunos no exame, apresentando claramente a "[...] lógica do input/output e o critério da eficiência como padrão predominante da avaliação [...]" (SANTOS FILHO, 2000, p. 44) tornando-se os critérios base para o processo de regulação.

É a investigação deste contexto complexo em que misturam, mas não se interagem, as três bases do SINAES, o objeto do estudo: a lógica do desempenho de índices criados pelo sistema e o seu uso como indicador de qualidade do curso e seu desdobramento na qualidade geral da instituição, sob a mesma lógica construtiva de índices. Para tal contrastou-se os princípios que nortearam a implantação do sistema com sua operacionalização, descrevendo assim o estado atual do SINAES, seus principais pontos de conflito e suas fragilidades enquanto sistema de avaliação e regulação. Finalmente é discutida a suposição de que o sistema possa ter se tornado um sistema típico de accountabilty, ou que pelo menos tenha incorporado algumas características deste, mesmo que não possa ser caracterizado como tal.

Os princípios do SINAES e seus desafios

Estabelecido em cinco princípios fundamentais (BRASIL, 2004): 1)a responsabilidade social com a qualidade da educação superior; 2) o reconhecimento da diversidade do sistema; 3) o respeito à identidade, à missão e à história das instituições; 4) a globalidade, isto é, compreensão de que a instituição deve ser avaliada a partir de um conjunto significativo de indicadores de qualidade, vistos em sua relação orgânica e não de forma isolada e; 5) a continuidade do processo avaliativo; desse modo, o SINAES promoveu uma nova visão para o processo avaliativo institucional.

Percebe-se nestes princípios, a intenção do SINAES de dispor de um conjunto amplo e diverso de indicadores de avaliação para a qualidade institucional e, assim, respeitar a diversidade do sistema de educação superior do Brasil. Suas diretrizes caracterizaram esta intenção e, apoiadas em pressupostos tanto acadêmicas quanto políticos, estabeleciam seis pontos chave: a participação ativa dos sujeitos; os valores acadêmicos fundamentais; o papel das IES como instituições estratégicas para as políticas setoriais nas áreas científica, tecnológica e social; o papel do Estado; o recredenciamento periódico das IES e a implantação de um sistema de avaliação que tenha como principal objetivo a melhoria da qualidade acadêmica e da gestão institucional (BRASIL, 2004, p. 10).

Estas diretrizes apontavam diretamente para um processo de avaliação em que, por um lado, avaliados também seriam avaliadores, de forma que "[...] o sujeito do processo pode ser também objeto de avaliação em determinadas etapas e sempre de acordo com as normas estabelecidas" (DIAS SOBRINHO, 2000, p. 119); o processo fosse marcado pela liberdade institucional de estabelecer seus princípios norteadores e sua relação com a realidade em que se insere; e a figura da universidade como parte fundamental no estabelecimento de políticas sociais. Por outro lado, explicitava-se o papel do Estado como agente regulador para a promoção contínua da qualidade da educação superior. Este delicado equilíbrio entre autonomia institucional em seu processo de autorregulação e regulação externa por meio do Estado é apontado por Ristoff no documento inaugural do novo sistema:

(1) o deslocamento de centro de avaliação de uma prova para um conjunto diversificado de instrumentos, (2) a integração dos instrumentos de avaliação e de informação e dos processos avaliativos desenvolvidos por diferentes órgãos do Ministério da Educação e dos sistemas estaduais, (3) a valorização dos aspectos qualitativos e interpretativos nos processos e instrumentos, (4) a institucionalização de programas permanentes de capacitação de avaliadores, (5) a criação e consolidação da cultura de auto-avaliação nas Instituições de Ensino Superior, e (6) a implantação de processos de meta-avaliação (2004, p. 179).

Ressaltam-se aqui os principais pontos de mudança do SINAES em relação às práticas avaliativas anteriores: a diversificação de instrumentos para atender a pluralidade institucional; o retorno dos aspectos qualitativos nos processos avaliativos; a natureza continua deste processo e o aspecto formativo e emancipatório da avaliação, pautado na investigação, autorreflexão e autotransformação institucional.

A prática avaliativa atual do SINAES

Após dez anos de sua implantação, uma visão retrospectiva é possível ser estabelecida para a operacionalização do SINAES. Pode-se discernir três períodos distintos nesse período, determinados pelos ciclos trienais. Ao final de seu primeiro ciclo (2004-2006), a principal fonte de discussão acerca do novo sistema de avaliação recaiu sobre a metodologia de amostragem para o ENADE, culminando com sua transformação para um exame censitário em 2008 (ROTHEN; BARREYRO, 2011, p. 32), em uma configuração similar ao anterior exame nacional de cursos, o "Provão".

Em seu segundo ciclo (2007-2009), nova reformulação do ENADE é realizada: o desempenho dos estudantes ingressantes não mais é utilizado para a composição do conceito ENADE final do curso. Outra novidade que ocorre neste período é a implantação do Conceito Preliminar do Curso (CPC) e do Índice Geral de Cursos (IGC), dois índices em que o desempenho do estudante no ENADE passa a ser o principal insumo, além de outros indicadores como o percentual de mestres e doutores do curso, o regime de trabalho dos professores e a percepção dos alunos (coletada por meio do questionário socioeconômico do ENADE) acerca da infraestrutura e planos de ensino do curso (Nota Técnica de número 29; BRASIL, 2012).

No terceiro período (o ciclo avaliativo de 2010-2012), as reformulações do SINAES recaem na construção do CPC, cujo algoritmo sofre modificações em termos de composição (os ingressantes não mais realizam o ENADE e um dos índices que compõe o CPC resulta do desempenho dos ingressantes, o IDD, o qual passa a ser calculado com base no desempenho dos estudantes ingressantes no Exame Nacional do Ensino Médio, o ENEM (conforme Nota Técnica número 29 citada anteriormente). Paralelamente a isto, os instrumentos de avaliação externa também sofrem reformulações em seus algoritmos, tanto na composição dos indicadores quanto nos respectivos pesos.

Uma visita ao sítio do INEP mostra o total de notas técnicas relativas aos índices ENADE, IDD, CPC e IGC, que comprovam a sistemática do Ministério da Educação na elaboração dos índices de desempenho institucional.

Desde 2008 até 2015, dezoito notas técnicas foram lançadas relativas à modificação destes índices, alterando ou aperfeiçoando o tratamento numérico. Número inferior é visto para as reformulações dos instrumentos de avaliação externa da ACG, mas pelo menos quatro reformulações destes instrumentos ocorreram durante o período, parte delas relativas à avaliação da crescente modalidade a distância.

Em contrapartida, o manual de orientações do processo de autoavaliação da IES, base para o terceiro eixo do "tripé" do SINAES, a AVALIES, permaneceu intocado desde 2004¹, ou seja, ano de implantação do SINAES. Interessante notar que a AVALIES é a única das modalidades do sistema que possui ênfase qualitativa, derivada do obrigatório processo de autorreflexão que uma autoavaliação exige.

A centralidade do ENADE no sistema de avaliação e sua utilização na regulação e na publicação de ranqueamentos parece mostrar que a "qualidade da educação resumiu-se ao rendimento escolar, ou à performatividade, estimulando ansiedades e a competição" (GARCIA, 2010, p. 453).

De fato, o ENADE tem sido a fonte predominante de indicadores para o processo regulatório, culminando no disposto pela Portaria Normativa MEC 4/2008 (BRASIL, 2008) que estabeleceu a dispensa de avaliação in loco para os cursos que obtiverem CPC acima de três. Isto representa um marco na subordinação das modalidades de avaliação do SINAES, pois a partir daí a ACG torna-se opcional de acordo com o resultado apontado no ENADE.

E a AVALIES? Esta já é subordinada, pois seus resultados são utilizados somente como base inicial do processo avaliativo da ACG e no exame de um indicador de avaliação específico para a CPA. Temos assim um percurso de subordinação explicitado: AVALIES(ACG (ENADE.

Em resumo, ao final desses dez anos do sistema, o que temos é, de uma parte, uma prática desarticulada entre as três modalidades que compõe o SINAES: o ENADE gerando um conjunto de índices utilizados majoritariamente no processo regulatório; a ACG gerando índices (o Conceito do Curso - CC e seu par institucional o Conceito Institucional, o CI) que, ou são submetidos a uma "revisão" pelo ENADE, como é o caso do CC em relação ao CPC, ou não estabelecem relação, como é o caso do CI e do IGC; e, a AVALIES, que não é utilizada no processo regulatório, a não ser como coadjuvante da ACG.

De outra parte, a prática do SINAES demonstra clara subordinação entre as três modalidades, inversamente proporcional à natureza qualitativa e autorregulatória de um processo de avaliação: a modalidade principal, o ENADE, limitado ao desempenho do estudante, pontual e somativo; a ACG, como modalidade intermediária na subordinação, vinculada a um conjunto maior de dimensões de avaliação que não somente o desempenho, mas submetida ao olhar pontual dos avaliadores externos em sua visita a IES; e a AVALIES que, além de abranger todo o universo institucional, conta com um processo contínuo de autorreflexão.

Afinal, o SINAES hoje pode ser visto como um sistema em que a avaliação se submete a regulação, semelhante ao que ocorre com os sistemas de avaliação europeus? Com relação a estes, afirma Amaral: "Estavam assim lançados os dados para a utilização dos sistemas de avaliação como instrumentos de regulação, como instrumentos de submissão" (AMARAL, 2010, p. 57). De forma semelhante, estamos diante de um processo de accountability focado em um exame de desempenho ou estamos caminhando para isto? Tais reflexões são detalhadas no próximo item.

Avaliação, accountability e desempenho

Em seu documento original (BRASIL, 2004) percebe-se uma tentativa de aproximar modelos distintos de avaliação: a melhoria da qualidade da Educação está em última instância sob o olhar avaliativo da própria instituição, mas também é regulada pelo externo, por meio de mecanismos de avaliação baseados em índices. Nesta relação observa-se que o processo de avaliação "não se baseará exclusivamente em pontuações, pesos e resultados quantitativos; repousará também na avaliação qualitativa" (BRASIL, 2004, p. 131), isto sendo considerado como um dos principais desafios: "a valorização dos aspectos qualitativos e interpretativos nos processos e instrumentos" (RISTOFF, 2004, p. 179). Também se faz referência ao papel da sociedade e Estado na relação entre regulação e avaliação:

A criação de um sistema, combinando regulação e avaliação educativa, em suas dimensões interna e externa, deve ser de responsabilidade compartilhada do Estado e das instituições, mas interessa também e sobretudo à população, que tem os direitos de contar com um sistema educativo que cumpra com os principais anseios e necessidades mais gerais da sociedade, e de saber como as instituições estão realizando seus mandatos sociais relativos ao avanço do conhecimento e à formação de cidadãos que também sejam bons profissionais. (BRASIL, 2004, p. 22)

Mais adiante o documento explicita sua concepção de regulação. Lê-se:

Para superar a concepção e a prática da regulação como mera função burocrática e legalista, é necessário construir uma outra lógica, com um outro sentido filosófico, ético e político: que a regulação não se esgote em si mesma, e, principalmente, articulada à avaliação educativa propriamente dita, seja também uma prática formativa e construtiva (BRASIL, 2004, p. 88).

Tem-se aqui o ponto central da relação entre avaliação e regulação estabelecida para o então novo sistema: a regulação deve ser uma prática formativa e construtiva e não se limitar ao exame de resultados pontuais. Isto demonstra a intenção inicial de submeter os índices estabelecidos no sistema à apreciação qualitativa processual. Ora, em que tripé se assentaria a prática formativa da avaliação? Certamente não no ENADE, que tem seu resultado demarcado ciclos claramente definidos; e não pela ACG, que está limitada a visão periódica de um conjunto de avaliadores que não mantém visão integrada entre si e nem no tempo acerca da realidade da IES avaliada.

O aspecto formativo do sistema somente se encontra na AVALIES, no processo de autoavaliação da IES, que este sim, tem condições de realizar um exame abrangente em tempo e espaço, com sujeitos envolvidos com a realidade institucional. Como Dias Sobrinho se refere, "a avaliação institucional não se impõe de atos fortuitos e episódicos, conduzidos por indivíduos aleatórios: não reconhecidos como sujeitos de um processo oficial" (DIAS SOBRINHO, 2000, p. 115).

No entanto, o que se observou na prática do sistema foi a adoção da performatividade como critério avaliativo, por meio dos indicadores da eficiência institucional (os já citados ENADE, IDD, CPC e IGC), típicos de um modelo sinalizado no corpo da proposta do SINAES, para efeito de distinção com sua proposta:

[...] de um lado está o modelo de inspiração anglo-americana baseado em sistemas predominantemente quantitativos para produzir resultados classificatórios, de outro, o modelo holandês e Frances, que combina dimensões quantitativas e qualitativas com ênfase na avaliação institucional e análise (BRASIL, 2004, p. 16).

Esta performatividade torna-se critério base para o processo de avaliação, tendo em vista o caráter facilitador destes índices nos processos de comparação e classificação. Ball descreve estas vantagens da performatividade:

Além de suas funções oficiais, como respostas à responsabilização, ambos os aspectos principais da performatividade educacional - comparação e mercadorização - estão relacionados ao fornecimento de informação para consumidores dentro do fórum do mercado educacional. E esses são, portanto, também diferentes modos de fazer as escolas e universidades mais responsivas ou ao menos aparentemente responsivas aos seus consumidores (BALL, 2010, p. 45).

Na raiz do problema está o posicionamento quase sempre incorreto da quantificação nos processos de avaliação. Como explicitado por Dias Sobrinho: "A medida é um recurso que às vezes se utiliza para facilitar as consequentes operações avaliativas [...] apresenta o objeto através de instrumentos específicos e em geral organiza os resultados em forma quantitativa" (2000, p. 122). A dimensão quantitativa de um objeto deve ser o início do processo avaliativo, e não o seu fim, conforme explicita Dias Sobrinho:

É uma deturpação qualificar e classificar ordinalmente as instituições ou parte delas por critérios de produtividade baseados em quantificações de extensão, volume e números de aspectos e categorias isolados para fins de análise como se eles fossem a realidade e não índices parciais da realidade (2000, p. 129).

No entanto, é mais comum observarmos a apresentação de estatísticas como produto final de uma avaliação com vistas à tomada de decisão que como ponto de partida. Exemplos dessa inversão do papel da quantificação em avaliação não faltam, basta um exame do relatório da Unesco acerca da educação mundial (UNESCO, 2009, p. 73): o cálculo do um índice de paridade de gênero, que deveria ser o início de um processo investigativo é apresentado como o fim do processo, como se por meio de um único indicador se pudesse captar a realidade socioeducacional de um povo ou nação, suas nuances e necessidades. A complexidade que uma avaliação exige não deve ser empecilho para sua consecução e por isso é fundamental que o processo seja um processo, não um recorte pontual. Como citado por Dias Sobrinho: "[...] informações objetivas que constituem a dimensão fatual de uma realidade ainda não realizam propriamente a avaliação, embora sejam imprescindíveis para qualquer processo avaliativo" (2000, p. 120). Isso mostra que por maior que seja o esforço a ser despendido para a consecução da avaliação, ele é necessário para que o processo menor de regulação possa ser realizado. Caso contrário, a regulação se impõe a avaliação por seu movimento mais pontual e menos complexo.

A redução da realidade complexa que permeia uma instituição de educação por meio da descrição de índices implica perigo maior que a redução da avaliação à regulação. A vinculação de tais índices a "desempenho do produto final", a exemplo do que ocorre com os índices CPC e IGC derivados do ENADE, implicam um nivelamento entre a educação e a produção material humana. O estabelecimento de tal nivelamento cria uma lógica difusa e mista em que certos mecanismos e procedimentos típicos da produção em larga escala são aplicados no contexto educacional, comumente designada como lógica de quase-mercado, como descreve Afonso: "[...] a expressão quase-mercado para dar conta de uma série de mecanismos e dispositivos que favorecem o desenvolvimento de lógicas e valores de mercado, mas que não são rigorosamente mercado" (AFONSO, 2010, p. 1144). Nesta lógica, a instituição perde parte de sua natureza, sob a necessidade imperiosa da simplificação e comparabilidade. Como Ball pontua, "organizações complexas como escolas e universidades são diversas e multifacetadas, ainda que sejam, às vezes, sobremaneira contestadas e, frequentemente, contraditórias" (BALL, 2010,

p. 44). Infelizmente as quantificações raramente admitem contradição em seus descritores e a educação se vê na tarefa de se reduzir para se adaptar ao processo de regulação ao quase-mercado.

A construção dos índices utilizados pelo SINAES obedece à lógica do quase mercado: o conceito de um curso deriva em parte da titulação e regime de trabalho do seu corpo docente (30% da nota), pela percepção dos estudantes que responderam o questionário socioeconômico do ENADE (15% da nota) e majoritariamente do desempenho expresso pelos ENADE e IDD contínuos (55% da nota). O CPC, que é o principal índice da "qualidade" de um curso utilizado para a regulação da Educação Superior brasileira, "revela" esta "qualidade" por meio de suas duas "pontas", a entrada: docentes, infraestrutura e organização didático-pedagógica do curso² e a saída: desempenho discente aferido por meio da nota dos concluintes e pela diferença de desempenho agregada (Nota do Indicador de Diferença entre o Desempenho esperado e observado - NIDD).

Note-se que o conceito exposto nesta equação, utilizada de forma global por todas as áreas avaliadas pelo ENADE em todo o território nacional, implica relação geral estabelecida entre a "entrada" e a "saída". Em outras palavras, O CPC parte da afirmação de que podemos aferir a qualidade de um curso por meio destas variáveis, pois elas SE constituem em uma medida do processo de formação do estudante. E mais, este processo de entrada e saída tem similaridade nas áreas avaliadas, independente, ou pelo menos, com pouca influência, de fatores como o contexto regional em que a IES está inserida, sua forma de organização e sua relação com a geração dos recursos necessários para sua existência.

Segue-se ao CPC o IGC, que é elaborado a partir da média ponderada dos CPCs dos cursos da IES somado ao conceito Capes dos cursos de pós-graduação stricto sensu³. Os processos regulatórios de renovação de reconhecimento dos cursos de graduação preveem que cursos com CPC maior ou igual a 3 ficam dispensados da avaliação in loco, caso queiram, e as IES com IGC maior ou igual a 3 também ficam dispensadas da ACG em processos de recredenciamento.

Assim, o desempenho dos estudantes no ENADE determina se uma avaliação geral da IES é necessária ou não, um exemplo do que Ball descreve como "ferramentas de monitoramento da performance" (BALL, 2012). Performance passa a ser a condição principal para a qualidade educacional, explicitado no documento oficial do MEC intitulado "Manual dos indicadores de qualidade" em que se descreve os algoritmos computacionais destes índices (BRASIL, 2011). Outra característica que emerge da construção dos índices é seu refinamento computacional, inteligível a poucos da área educacional, apontando para um desenvolvimento típico das tecnologias associadas ao que Ball define como fabricação. De fato, examinemos a seguinte afirmação:

Entretanto, o trabalho da fabricação aponta para um segundo paradoxo. Tecnologias e cálculos que se apresentam como meios para tornar as organizações do setor público mais transparente podem, na verdade, torná-las mais opacas, uma vez que artefatos representacionais são construídos com cada vez mais deliberação e sofisticação (BALL, 2010, p. 45).

A afirmação nos remete a construção do CPC e IGC que, sob a ótica da transparência, utiliza insumos claramente identificados na equação do índice. É um artefato representacional sofisticado, balizado por meio de uma equação de regressão linear múltipla, mas que nada indica da qualidade dos cursos de pós-graduação que fazem parte do índice, nem da qualidade do docente em tempo integral da instituição ou da qualidade⁴ dos planos de ensino opinados pelo aluno, isto para dar alguns exemplos acerca dos insumos utilizados na construção destes índices. O conceito de qualidade se reduz a mensuração do desempenho, como já observado por Dias Sobrinho:

Assim sendo, a educação (em sentido pleno) se reduz a ensino, os processos formativos se anulam ante os resultados quantificáveis, a valoração dá lugar a exames que medem desempenhos estudantis, estes servem de informação básica aos índices, que se transformam em classificações e rankings e representam numericamente a "qualidade" dos cursos e das instituições (DIAS SOBRINHO, 2008, p. 821).

Esta forma de operacionalização do SINAES nos leva a indagar se o sistema pode ser considerado um modelo de accountability centrado em testes de desempenho ou tem apresentado somente partes de modelo deste tipo. Adotando-se o conceito exposto por Afonso (2009), que associa a accountability a três dimensões: avaliação, prestação de contas e responsabilização, o que emerge de forma conspícua é o papel do ENADE como fonte predominante de indicadores para o processo regulatório, determinando a dispensa das avaliações in loco provindas a ACG nos processos de autorização e renovação do reconhecimento dos cursos de graduação ou da AVALIES nos processos de recredenciamento institucionais.

Em recente instrução publicada pelo MEC (BRASIL, 2013) que "regula" a autonomia universitária para a autorização de cursos de acordo com seus índices IGC ou CI, observa-se mostras de procedimentos indicativos de responsabilização, por meio da "imputação de sanções negativas ou enforcements" (AFONSO, 2009, p. 60). Soma-se a isto as sanções aplicadas as IES que obtiveram IGC abaixo de 3 em três ciclos avaliativos seguidos.

Tomando-se a dimensão da prestação de contas, observa-se que esta aparece na publicação do CPC dos cursos de graduação e IGC institucionais, seguidas das justificações pelas IES dos índices obtidos, por meio de protocolos de compromisso firmados entre a SERES/MEC e a IES nos casos em que o CPC tenha sido inferior a 3. Com relação à avaliação, o SINAES parece se enquadrar em um modelo de avaliação ex-ante, conforme descrita por Afonso (2009), ou seja, aquela antecede a prestação de contas na AVALIES, mas também ocorre posteriormente por meio da ACG.

Desta forma o SINAES contém em si algumas dimensões de um modelo de accountability, centradas no desempenho dos estudantes concluintes, articuladas minimamente por meio dos índices gerados pelo ENADE. Ao que parece não podemos ainda caracterizar o SINAES como um sistema de accountability, na forma definida por Afonso:

[...] um conjunto articulado de modelos e de formas parcelares de accountability que, apresentando especificidades e podendo manter diferentes graus de autonomia relativa, constituem uma estrutura congruente no quadro de políticas (públicas ou de interesse público) fundadas em valores e princípios do bem -comum, democraticidade, participação, dever de informar e direito a ser informado, argumentação e contraditório, transparência, responsabilização, cidadania activa, empowerment, entre outros (AFONSO, 2009, p. 60).

O que temos no SINAES são formas parcelares, ainda em evolução, e fortemente centralizadas em uma de suas modalidades, o ENADE. Tal centralização pressupõe seu uso indistinto no universo das IES do Brasil e de seus cursos de graduação, ou seja, a utilização do CPC como indicador de qualidade dos cursos de graduação parte da premissa de que este pode ser generalizável para todas as áreas de cursos existentes no país e que para cada uma destas áreas não existe variação, seja de cunho regional, dentre as regiões federativas brasileiras, seja na forma de organização da instituição de Ensino Superior.

Esta última premissa foi investigada por Lacerda e Ferri (2015, p. 130) para os cursos de Pedagogia que participaram do ENADE em 2008. Ao final do estudo, "Concluiu-se que a relação entre os indicadores de qualidade e o desempenho foi dependente da combinação entre organização acadêmica e categoria administrativa". Tal resultado implica revisão do CPC e do papel central do ENADE na regulação.

A proeminência dada ao ENADE - agora como instrumento estático e somativo, menos dinâmico e formativo - muda o paradigma da avaliação e traz consequências importantes. Em decorrência, o SINAES perde muito de seu sentido de sistema; a avaliação institucional se enfraquece e se burocratiza; a autonomia institucional e docente tende a desaparecer diante da necessidade de obtenção de boa posição na escala de classificação, a qual é alcançável por meio do mecanismo de ensinar para o exame, segundo o modelo da prova; o ENADE abandona a concepção dinâmica e esvazia seu sentido de feedback e a possibilidade de acompanhamento da aprendizagem do aluno (DIAS SOBRINHO, 2010a, p. 216;b).

As especificidades locais e organizacionais das IES e de cada uma das áreas de conhecimento dos cursos de graduação brasileiros impedem uma padronização simples e desprovida de meta-avaliação. Torna-se necessário um processo posterior à obtenção de tais índices, de forma a inseri-los no processo avaliativo antes de sua ratificação pelo governo, por meio de sua publicação, e pela sociedade, via os ranqueamentos de cursos e IES que são produzidos pela mídia. Da forma em que é realizado hoje, o processo conduzido pelo SINAES é mais verificação de desempenho que avaliação.

Considerações finais

Ao discutir os três pilares de sustentação do primeiro Sistema Nacional de Avaliação da Educação Superior, o SINAES, demonstrou-se que estes pilares precisam ser congruentes entre si, interrelacionados e explícitos em sua subordinação, em um percurso ENADE(ACG(AVALIES.

A operacionalização do sistema obedece a uma subordinação que não corresponde aos princípios originalmente estabelecidos para o sistema, pelos quais a autoavaliação deveria ser o repositório final das demais modalidades e a partir disto realizar o juízo de valor necessário ao processo avaliativo.

A subordinação, na prática, se deu ao contrário, o exame de desempenho tendo papel central na avaliação e, consequente, sendo a regulação. Desta forma, o processo avaliativo subsumiu diante da regulação e esta cada vez mais se vale da lógica do processo tecnológico de produção: insumos geram produtos.

Demonstrou-se a centralidade que o ENADE tem tido nos diversos processos regulatórios a que são submetidas às IES do Brasil e que podem ser caracterizados como formas em evolução de um modelo futuro de accountability. Apropriando-nos dos conceitos de Afonso (2009) foi possível identificar a dimensão da avaliação na modalidade da AVALIES do SINAES, caracterizada como avaliação ex-ante e a avaliação dos pares da ACG como ex-post, tendo o ENADE como pilar central.

A dimensão da prestação de contas foi reconhecida pela publicação do CPC dos cursos e do IGC das IES, seus ranqueamentos derivados e da justificação da IES em relação a cursos com baixo desempenho, por meio dos protocolos de compromisso submetidos a SERES. Adicionam-se a isto a distribuição de bolsas do Programa Universidade para Todos - ProUni, do governo federal, para o qual é necessário um conceito de curso (seja ENADE, CPC ou CC) no mínimo de 3 para que possa ser beneficiado.

A dimensão da responsabilização foi caracterizada por meio calendário anual de regulação do MEC, pelo qual as IES estão facultadas a receber comissões de avaliação in loco para autorização de cursos conforme seu IGC (um IGC quatro permite a autorização de até oito cursos sem visita in loco) e cursos com CPC maior que 3 dispensados de comissão de renovação de reconhecimento.

Tais características da operacionalização do SINAES brasileiro ainda não se configuram em um modelo de accountability devido à baixa articulação entre as modalidades do sistema e da dependência da AVALIES e ACG em relação ao ENADE. Devido a esta característica, demonstrou-se que o Conceito Preliminar de curso, o CPC, não pode ser considerado um índice generalizável para todas as áreas de abrangência dos cursos de graduação brasileiros, visto as relações entre seus insumos, qualidade do corpo docente e desempenho, serem dependentes de características como a categoria administrativa e a organização acadêmica.

Propõe-se que se reexamine o papel do ENADE e seus respectivos índices derivados, CPC e IGC, no contexto do SINAES, a fim de que eles sejam utilizados como indicadores iniciais do processo avaliativo e não o ponto final deste processo. Ao que parece, a AVALIES é a modalidade do SINAES que poderá realizar uma modificação no percurso do sistema rumo à accountability dependente de um teste estandardizado.

Caso a AVALIES se torne o ponto focal do processo de avaliação, e para ela sejam convergidos os índices dos cursos e da IES, para que estes sejam os motivadores do processo de avaliação e não seu produto final, será possível promover o que Afonso cita como "uma configuração de accountability [...] pressupondo relações e conexões abertas, problematizáveis de se aperfeiçoarem ou reconstituírem" (AFONSO, 2012. p. 478), ou seja, um processo avaliativo congruente com as expectativas de qualidade de formação que se almeja nas IES brasileiras.

Referências

• AFONSO, Almerindo Janela. Políticas avaliativas e accountability em educação - subsídios para um debate iberoamericano. Sísifo/Revista de Ciências da Educação , Lisboa, n.9, p.57-70,2009.
• AFONSO, Almerindo Janela. Protagonismos instáveis dos princípios de regulação e interfaces público/privado em educação. Educ. Soc. , Campinas, v.31, n.113, p.1137-1156, out./dez. 2010.
• AFONSO, Almerindo Janela. Para uma concetualização alternativa de accountability na educação. Educ. Soc. Campinas, v.33, n.119, p.471-484, 2012.
• AMARAL, Alberto. Tendências recentes dos sistemas de avaliação do ensino superior na Europa. Sísifo/Revista de Ciências da Educação, , Lisboa n.12, p.51-62, 2010.
• BALL, Stephen. Performatividades e fabricações na economia educacional: rumo a uma sociedade performativa Educação e Realidade, Porto Alegre, v. 35 n. 2, p. 337-55 maio/ago. 2010.
• BALL, Stephen. Global education inc.: new policy networks the neo-liberal imaginaryRoutledge: London/New York, 2012.
• BARREYRO, Gladys Beatriz; ROTHEN, José Carlos C.Para uma história da avaliação da Educação Superior Brasileira: análise dos documentos do PARU, CNRES, GERES e PAIUB. Avaliação , Campinas; Sorocaba, SP, v.13, n.1, p.131-152, mar. 2008.
• BRASIL. Comissão Nacional de Avaliação. Avaliação das universidades brasileiras: uma proposta nacional. Documento Básico. Brasília, nov. 1993.
• BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. SINAES - Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2. ed. Brasília: INEP, 2004.
• BRASIL. Ministério da Educação e Cultura. Portaria Normativa MEC n. 4, de 05 de agosto de 2008. Diário Oficial da União, Brasília, 6 ago. 2008.
• BRASIL. Ministério da Educação e Cultura. Instituto Nacional de Pesquisas Educacionais Anísio Teixeira. Manual dos indicadores de qualidade 2011. Disponível em: http://download.inep.gov.br/educacao_superior/ENADE/notas_tecnicas/2011/manual_indicadores_qualidade_edu_superior_2011.pdf
  » http://download.inep.gov.br/educacao_superior/ENADE/notas_tecnicas/2011/manual_indicadores_qualidade_edu_superior_2011.pdf
• BRASIL. Ministério da Educação e Cultura. Instituto Nacional de Pesquisas Educacionais Anísio Teixeira. Nota Técnica n. 029, de 15 de outubro de 2012. Disponível em: http://download.inep.gov.br/educacao_superior/ENADE/notas_tecnicas/2011/nota_tecnica_indicadores_2011_2.pdf
  » http://download.inep.gov.br/educacao_superior/ENADE/notas_tecnicas/2011/nota_tecnica_indicadores_2011_2.pdf
• BRASIL. Ministério da Educação e Cultura. Secretaria de Regulação e Supervisão da Educação Superior. Instrução Normativa n. 4, de 31de maio de 2013. Diário Oficial da União, Brasília, n. 104, Seção 1, p. 11, 3 jun. 2013.
• BRASIL. Secretaria de Ensino Superior. Programa de Avaliação Institucional das Universidades Brasileiras. Brasília: MEC/SESu, 1994.
• DIAS SOBRINHO, José. Avaliação da educação superior. Petrópolis: Vozes, 2000.
• DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação , Campinas; Sorocaba, SP, v.13, n.3, p.817-825, nov 2008.
• DIAS SOBRINHO, José. Avaliação e transformações na Educação Superior Brasileira (1995-2009): do Provão ao Sinaes. Avaliação , Campinas; Sorocaba, SP, v.15, n.1, p.195-224, mar 2010a.
• DIAS SOBRINHO, José. Democratização, qualidade e crise da educação superior: faces da exclusão e limites da Inclusão Educ. Soc. , Campinas, v.31, n.113, p.1223-1245, out/dez 2010b.
• GARCIA, M. M. A .Políticas educacionais contemporâneas. Revista Brasileira de Educação , Rio de Janeiro, v.15 n. 45, p.445-591, set/dez 2010.
• LACERDA, Leo Lynce Valle de; FERRI, Cássia. Relações entre indicadores de qualidade de ensino e desempenho de estudantes dos cursos de Pedagogia do Brasil no Exame Nacional de Desempenho dos Estudantes. Rev. Bras. Estud. Pedagogia, Brasília, v.96, n.242, p.129-145, jan/abr 2015.
• RISTOFF, Dilvo Ilvo. O SINAES e seus desafios. Avaliação , Campinas; Sorocaba, v.9, n.1, p.179-183, mar 2004.
• ROTHEN, José Carlos; BARREYRO, Gladys Beatriz. Avaliação da Educação Superior no segundo governo Lula: Provão II ou a reedição de velhas práticas? Educ. Soc. Campinas, v.32, n.114, p.21-38, jan/mar 2011.
• SANTOS FILHO, José Camilo . Universidade, modernidade e pós-modernidade. In.: SANTOS FILHO, José Camilo; MORAES, Sílvia Elisabeth (Orgs.). Escola e universidade na pós-modernidade. Campinas Mercado de Letras, 2000.
• UNESCO. Conferência mundial sobre ensino superior 2009: as novas dinâmicas do ensino superior e pesquisas para a mudança e o desenvolvimento social. Paris, 2009

• 1
  Em 9 de outubro de 2014 foi publicada a nota técnica número 65 que reformulou a estrutura do relatório, porém sem a sugestão de indicadores de avaliação.
• 2
  A nota técnica número 72 de 20 de outubro de 2014 e atualizada em 15 de janeiro de 2015 agregou um novo insumo proveniente do questionário socioeconômico: a percepção discente acerca do processo formativo.
• 3
  Estabelecidos em escala ordinal de 3 a 5 para mestrados e 3 a 7 para doutorados.
• 4
  Não nos propusemos neste artigo questionar o conceito de "qualidade" utilizado no âmbito do SINAES. Conceituar "qualidade" no ensino superior e em qualquer dos insumos utilizados pelo Sistema seria polissêmico e controverso. Sobre o assunto afirma SOBRINHO (2010b, p. 1228): "As noções de qualidade da educação superior têm muito a ver com os lugares relativos dos indivíduos, os compromissos dos grupos numa dada formação social, as concepções de mundo e, particularmente, os papéis que os atores atribuem à educação superior. Dada a heterogeneidade das concepções de mundo e tendo em vista as contradições de toda formação social, dificilmente se construirá unanimidade a respeito do que é e deve ser uma educação superior de qualidade".

Datas de Publicação

• Publicação nesta coleção
  Aug-Nov 2016

Histórico

• Recebido
  25 Abr 2015
• Aceito
  17 Abr 2016