SINAES: o que aprendemos acerca do modelo adotado para avaliação do ensino superior no Brasil

SINAES: what we have learned about the model for superior education evaluation in Brazil

Resumos

Este artigo tem por objetivo apresentar o modelo de avaliação do ensino superior adotado no Brasil (SINAES), discutindo os seus princípios e finalidades, identificando os modelos de avaliação institucional utilizados e verificando, a partir dos relatórios de auto-avaliação das IES, as dificuldades e facilidades encontradas pelas IES. Apesar dos avanços em relação às práticas de avaliação institucional no Brasil, o SINAES parece não ter conseguido institucionalizar plenamente a avaliação, sobretudo porque está organizado para dar conta, simultaneamente, de duas finalidades distintas: o aperfeiçoamento e desenvolvimento institucional de um lado, e a regulação do outro.

SINAES; Avaliação institucional; Avaliação do ensino superior

This article aims to present the model adopted in Brazil (SINAES) to evaluate higher education, discussing the principles and purposes, identifying the use of evaluation models in institutions and verifying, from IES self-assessment reports the ease and the difficulties faced by IES. Despite advances in evaluation practice in institutions in Brazil, the SINAES appears not to have fully achieved an institutional framework of evaluation, especially because it is organized to simultaneously account for two distinct purposes: on the one hand the improvement and development of the institution and on the other its regulation.

SINAES; Institutional assessment; Evaluation of higher education

Introdução


Instituído em 2004 através da Lei 10.861 de 14 de abril de 2004 e regulamentado pela Portaria Nº 2.051 de 9 de julho de 2004, o Sistema Nacional de Avaliação do Educação Superior – SINAES foi implantado em todo o Sistema Federal de Ensino Superior. Sendo um sistema, o SINAES integra um conjunto de avaliações realizadas com diferentes metodologias, aplicadas em diferentes momentos e incluindo diferentes atores institucionais visando, assim, uma leitura mais fiel e mais completa possível do funcionamento das Instituições de Ensino Superior - IES brasileiras, independentemente do tamanho, da natureza administrativa e da organização acadêmica.


O SINAES foi concebido a partir de um conceito de avaliação baseado nas ideias de integração e participação. No que diz respeito à integração, a proposta inicial do SINAES buscava “assegurar, entre outras coisas, a integração das dimensões internas e externas, particular e global, somativo e formativo, quantitativo e qualitativo e os diversos objetos e objetivos da avaliação” (SINAES, 2004, p. 84). Quanto à participação, a proposta destaca “a exigência ética própria dos processos educacionais, conclama todos os agentes [...] a se envolverem nos processos avaliativos” (SINAES, 2004, p. 84).


Composto por três processos, a avaliação dos cursos de graduação, a avaliação institucional e a avaliação do desempenho dos estudantes, o sistema é alimentado por diferentes agentes: a avaliação dos cursos, realizada por comissões de especialistas ad hoc especialmente constituídas pelo INEP para esta finalidade; a avaliação do desempenho dos estudantes, realizada por estudantes ingressantes e concluintes dos cursos de graduação; e a avaliação institucional, que é composta por dois processos avaliativos: auto-avaliação, realizada pela comissão própria de avaliação, constituída por membros da própria instituição e representante da sociedade civil organizada e, a avaliação externa, realizada por comissões de especialistas ad hoc constituídas pelo INEP.


Esta multiplicidade de perspectivas é justificada pela complexidade da educação superior, que requer a combinação de instrumentos variados e metodologias suficientemente flexíveis para dar conta de todas as dimensões envolvidas. Explorar as diversas faces de um objeto tão complexo sem perder a coerência epistemológica e conceitual não é tarefa das mais fáceis e, neste sentido, o SINAES tornou-se um estimulante desafio, enfrentado por todos os agentes envolvidos, ora com confiança usando da criatividade e inovação, ora com receio, sustentando-se por precaução nas práticas tradicionais. O maior desafio, porém, foi a tentativa de articular duas dimensões consideradas igualmente importantes pela ‘Proposta para uma Política de Avaliação da Educação Superior⁽¹⁾,


[...] esse sistema deve articular duas dimensões importantes: a) avaliação educativa propriamente dita, de natureza formativa, mais voltada à atribuição de juízos de valor e mérito em vista de aumentar a qualidade e as capacidades de emancipação e b) regulação, em suas funções de supervisão, fiscalização, decisões concretas de autorização, credenciamento, transformação institucional, etc., funções próprias do Estado (SINAES, 2004, p. 85).


São duas dimensões não exatamente excludentes, mas que requerem lógica de organização e interpretação distintas, bem como a postura e o papel do avaliador. Bonniol e Vial chamaram atenção para este aspecto:


Às vezes o avaliador veste o traje do conselheiro do príncipe. Por meio do conflito entre quantitativo e qualitativo, torna-se auditor. Instala-se, então, a confusão cuidadosamente preservada entre a Pesquisa, a Perícia, o Conselho, a Inspeção e a Consultoria (BONNIOL; VIAL, 2001, p. 182).


De fato, avaliar numa perspectiva educativa pressupõe-se uma sucessão de procedimentos com vistas a alcançar um objetivo, que não pode ser claramente demarcado a priori, qual seja: o alcance de um nível de melhor qualidade possível. Enquanto que avaliar numa perspectiva somativa, com fins regulatórios, assemelha-se a uma auditoria⁽²⁾ e, neste caso, com objetivo claramente demarcado a priori, qual seja: verificar a correspondência entre o que foi estabelecido como norma e o que efetivamente é executado pela IES. Neste caso, em cada uma das situações a postura do avaliador muda, a relação entre avaliado e avaliador é permeada por uma apropriação do saber e do poder específicas e, por conseguinte, a metodologia utilizada, seja no que diz respeito à organização do processo de avaliação, seja no que tange aos modos de investigação e interpretação adotados, deve ser adequada e ajustada às suas finalidades.


Este artigo tem por objetivo discutir os modelos de avaliação institucional, especialmente aqueles adotados para avaliação do ensino superior no Brasil nos últimos oito anos, observando os resultados e as possíveis repercussões sobre o Sistema de Ensino Superior brasileiro. Além desta introdução, o artigo está dividido em quatro seções: na primeira, são apresentados os principais modelos de avaliação institucional, na segunda uma tentativa de classificação destacando a sua finalidade, na terceira os objetivos e finalidades do SINAES e, por fim, as conclusões.


Modelos de Avaliação Institucional


Dois pontos de vistas divergentes sobre a condução do processo vão-se constituir em dois diferentes modos de fazer avaliação, em torno dos quais se construirão paradigmas, enfoques e modelos de trabalho, amplamente discutidos na literatura. Estes termos, utilizados muitas vezes como sinônimos, sem maiores preocupações em se estabelecer distinções conceituais, produzem uma multiplicidade de formas de classificação dos tipos de avaliação. Alguns autores, no entanto, procuram minimizar este problema, como, por exemplo, Bonniol e Vial (2001), demonstrando a diferença entre modelo e paradigma. Os autores definem modelo como um conjunto de regras que prescrevem e normatizam as relações entre os elementos de um conjunto produzindo, assim, formas predefinidas a compreensão de uma determinada situação. “O modelo confere a quem o adota possibilidades de leituras da realidade, uma certa forma de apreender o real, mais do que concebê-lo” (BONNIOL; VIAL, 2001, p. 28). Por sua vez, paradigma é definido como o conjunto de princípios que orientam o modo de ver e de agir diante das situações da realidade. Esses autores, no entanto, entendem que tanto a noção de modelo quanto a noção de paradigma são insuficientes para exprimir a variedade de formas assumidas pela avaliação, quando aplicada às diversas situações da realidade.


Outros autores propõem soluções diferentes, como, por exemplo, House (2000, apud LEITE, 2005), que defende as correspondências entre os termos, ressaltando que todos eles fazem referência aos princípios do liberalismo. Leite (2005), por sua vez, tentando evitar confusões na utilização dos termos modelo, enfoque ou paradigma, quando aplicados ao campo da avaliação, sugere a utilização do termo ‘formatos avaliativos’, para melhor expressar o conjunto de ajustes e adaptações necessárias para que um processo de avaliação seja aplicado às diversas situações da realidade. “Formatos avaliativos são continentes de proposições, de intenções, que se manifestam por um certo feitio de avaliação” (p. 34). 


São muitas as classificações do tipo ou formato de avaliação institucional encontradas na literatura. Algumas delas baseadas na finalidade do processo, outras nos objetivos outras, ainda, no nível de participação dos usuários, assim como na concepção filosófica e/ou política que norteiam o processo de avaliação. Leite (2005), amparada nos trabalhos de House (2000), Saul (2001), Cousins e Earl (1995) e House e Howe (2001), classifica os diversos tipos de avaliação da seguinte forma: avaliação com enfoque gerencialista, análise de sistemas, comportamentalista, modelo de decisão, centrada nos participantes, avaliação com enfoque não gerencialista e avaliações emancipatórias ou participativas. 


Em outra classificação, Dias Sobrinho sustentado em autores como Stufflebeam, Scriven e Stake, propõe cinco pares de oposições, para caracterizar os processos de avaliação:


Avaliação formativa X avaliação somativa;


Avaliação centrada do X avaliação centrada nos


processo produtos;


Avaliação formalista X avaliação naturalista;


Avaliação estrutural X avaliação conjuntural;


Avaliação dita subjetiva X avaliação dita objetiva.


(DIAS SOBRINHO, 2003, p. 36). 


Cada uma das oposições destaca aspectos do processo de avaliação, que conflitam por serem radicalmente opostos. Seja pela possibilidade de a avaliação promover o desenvolvimento, de um lado, ou possibilitar aferição e controle, de outro; seja pelo foco do processo recair na dinâmica dos processos, de um lado, ou sobre os resultados produzidos, de outro, e assim por diante. Porém, de todos esses pares de oposição, aquele que divide a avaliação em dois grupos: - a avaliação dita subjetiva e a avaliação dita objetiva - é o que absorve mais intensamente o debate em torno dos modelos de avaliação ou, pelo menos, é aquele que apresenta com mais clareza as divergências metodológicas de uma e da outra posição.


Do ponto de vista metodológico, podemos identificar as abordagens influenciadas pelo positivismo, que utilizam tratamento estatístico, privilegiam a análise quantitativa e preocupam-se, sobretudo, com a consecução dos objetivos previamente definidos. Por outro lado, as abordagens influenciadas pelo método compreensivo-fenomenológico, que são construídas a partir das opiniões e das percepções dos sujeitos avaliados, portanto de caráter subjetivista, privilegiam a análise qualitativa e preocupam-se com os processos. Sua utilização é muito comum nos processos de avaliação interna ou auto-avaliação. Existem ainda abordagens influenciadas por outros métodos, tais como as abordagens influenciadas pelo método estruturalista, que são abordagens aplicadas aos macrosistemas, preocupam-se com os resultados como um todo, estabelecendo relações entre eles e as partes da estrutura que os mantêm; e as abordagens influenciadas pelo materialismo dialético, apoiadas na teoria marxista e que procuram descrever a realidade com o objetivo de transformá-la.


Bonniol e Vial (2001), num importante texto em que discutem com profundidade os modelos de avaliação, organizam a sua obra a partir de três pontos de vista, que refletem três concepções fundadas nas epistemologias que as sustentam:


1. avaliação como medida;


2. avaliação como gestão;


3. avaliação como problemática do sentido.


Nos processos de avaliação como medida, todo o processo é planejado visando a apreciação dos produtos. Nas avaliações planejadas em função da gestão, privilegia-se o procedimento, em vez do produto, e nas avaliações como problemática do sentido, o foco da avaliação é o processo. Este modo de divisão do tema relaciona-se diretamente com a postura do avaliador.


A finalidade da avaliação


Uma possibilidade de classificação dos tipos de avaliação, talvez de modo mais simples, é agrupá-los segunda a finalidade. Deste ponto de vista, em linhas gerais, podem-se agrupar os diversos tipos de avaliação institucional em dois grandes grupos:


1. os modelos educativos, ou formativos, cuja principal finalidade é desenvolver e aprimorar a qualidade do trabalho produzido pela instituição avaliada. Este modelo é caracterizado pela ênfase na análise qualitativa e incentiva o envolvimento de todos os segmentos da instituição na construção e execução do processo, portanto é participativo e mais democrático;


2. os modelos regulatórios, cuja principal finalidade é garantir o cumprimento das regras de funcionamento preestabelecidas para o sistema, garantindo, consequentemente, o nível de qualidade do trabalho das instituições avaliadas. O modelo tem, como principal característica, a ênfase na análise quantitativa, sendo tecnocrático e centralizador.


Um aspecto importante da discussão sobre os dois modelos de avaliação apresentados é a relação com a qualidade. As avaliações regulatórias, como as avaliações de curso de graduação⁽³⁾ concebidas pelo MEC, baseadas num padrão de qualidade, por exemplo, não pretendem aumentar a qualidade do sistema e sim manter a qualidade, assegurando o nível mínimo que as IES devem demonstrar. Porém, ao se fazer a avaliação das instituições de ensino e se exigir que elas atendam aos critérios adotados, consegue-se que elas fiquem mais parecidas umas com as outras. A avaliação termina padronizando as instituições, independentemente das suas características, e isto não implica necessariamente maior ou menor qualidade. 


O modelo de avaliação na ótica eficientista, instrumentalista e classificatória é predominantemente quantitativo. Indicadores quantitativos promovem um balanço das dimensões mais visíveis e facilmente descritíveis, a respeito das medidas físicas, como área construída, titulação dos professores, descrição dos corpos docentes e de servidores, relação dos serviços, dos produtos, das formaturas, volumes e insumos, expressões numéricas supostamente representando qualidades, como no caso de números e citações, muitas vezes permitindo o estabelecimento de ranking de instituições [....] (DIAS SOBRINHO, 1996, p. 17).


Contera (2000), discutindo a qualidade do ensino superior, apresenta o modelo para avaliação da qualidade da educação superior, de Castrejón Diez (1991), que se divide em quatro tipos:


• Tipo I – Regulação;


• Tipo II – Misto;


• Tipo III – Excelência seletiva;


• Tipo IV – Democrático.


Os modelos são desenhados esquematicamente, conforme demonstrado na Figura 1.


Figura 1
- Modelos de avaliação da qualidade da Educação Superior – Castrejón Diez (1991).

Fonte: CONTERA, Cristina. Modelos de la evaluación de la calidad de la educación superior. Avaliação, Campinas; Sorocaba, v. 1, n. 5, p. 07-18, mar. 2000.


A parte superior representa processos de avaliação e acreditação sob controle do Estado. A parte inferior, ao contrário, representa processos sob controle da instituição. A parte direita da figura representa processos que utilizam critérios acadêmicos como indicadores de qualidade. A parte esquerda da figura representa processos de avaliação que utilizam critérios administrativos e indicadores de qualidade típicos de mercado. No primeiro quadrante (avaliação do tipo I), são representados processos utilizados para regulação sob controle do Estado, que utilizam critérios típicos de mercado, enfatizando a eficiência da gestão institucional, a relação custo benefício, a consecução dos objetivos, como critérios de qualidade. No segundo quadrante (avaliação do tipo II), são representados processos também de regulação sob controle do Estado, que utilizam critérios acadêmicos e indicadores de qualidade definidos e elaborados com a participação do corpo social da instituição. É um sistema misto porque o eixo da avaliação é a auto-avaliação, e o Estado monitora o processo e credencia a instituição a partir dos resultados apresentados. No terceiro quadrante (avaliação do tipo III), são representados processos sob controle da instituição, que utilizam critérios definidos e adotados pela agencias internacionais, com indicadores de qualidade típicos da ótica eficientista, da qual se refere Dias Sobrinho (1996). No quarto quadrante (avaliação do tipo IV), são representados processos sob controle da instituição, de caráter democrático, pois envolvem a participação de todo o corpo social da instituição e utilizam critérios e indicadores de qualidade definidos pelo corpo social da instituição.


Os modelos do tipo I e IV formam extremos opostos, enquanto os modelos do tipo II e III são intermediários, mesclando características dos dois extremos: de um lado, os processos de regulação, também chamados de tradicionais, somativos, etc e, do outro, os processos democráticos, também chamados de alternativos, formativos, emancipatórios, etc. A tensão entre estes dois pólos pode ser assim resumida:


Figura 2
- Modelos de avaliação da qualidade


Fonte: CONTERA, Cristina. Modelos de la evaluación de la calidad de la educación superior. Avaliação, Campinas; Sorocaba, v. 1, n. 5, p. 07-18, mar. 2000.


A contradição entre os dois extremos, por conta dos processos de naturezas radicalmente opostas, reflete com clareza o que Boaventura Santos (2006) aponta como os pilares de sustentação do projeto sóciocultural da modernidade: o pilar da regulação, de um lado, e o pilar da emancipação, do outro. Na mesma direção, Afonso (2000; 1992), discute esta contradição a partir da Teoria do Estado, mostrando como a crise do Estado-providência e o surgimento de um novo modelo de Estado, dicotomizam o campo da avaliação, colocando em pontos opostos, lógicas de avaliação relacionadas aos diferentes modos de funcionamento do Estado.


A avaliação no contexto das mudanças sociopolíticas contemporâneas, segundo Afonso (2000), está representada no esquema a seguir:


Figura 3
– Mudanças sócio-políticas contemporâneas


Fonte: AFONSO, Almerindo Janela. Avaliação educacional: regulação e emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2000.


O esquema proposto por Afonso (2000) estabelece duas linhas de contradições, a primeira sendo decorrente da crise do Estado-providência. Uma nova ordem surge em seu lugar, e o Estado passa a ser regulador de serviços em lugar de provedor. Daí pode-se identificar, no campo da avaliação, um movimento de resistência a esta situação, que defende a avaliação formativa, ou educativa, em contraposição à avaliação regulatória. A segunda linha de contradição decorre das diferenças entre as posições neoliberais e neoconservadoras. No campo da avaliação, estas duas tendências políticas se expressam nos modelos avaliativos que possibilitam maior controle e regulação por parte do Estado, em contradição com os modelos avaliativos que possibilitam maior controle e regulação pelo mercado. A esta segunda contradição, o autor chama de “paradoxo do Estado neoliberal”. 


[...] por um lado, o Estado quer controlar mais de perto os resultados escolares e educacionais (tornando-se assim mais Estado, Estado–avaliador) mas, por outro lado, tem que compartilhar este escrutínio com os pais e outros ‘clientes’ ou ‘consumidores’ (diluindo também por aí algumas fronteiras tradicionais, e tornando-se mais mercado e menos Estado). Produz-se assim um mecanismo de quase-mercado em que o Estado, não abrindo mão da imposição de determinados conteúdos e objetivos educacionais (de que a criação de um currículo é apenas um exemplo), permite, ao mesmo tempo, que os resultados/produtos do sistema educativo sejam também controlados pelo mercado (AFONSO, 2000 p. 122).


Se a segunda contradição pode ser resolvida, ou pelo menos, minimizada por um dispositivo em que o Estado divide com o mercado a função de controle e fiscalização da regulação, a primeira contradição persiste e parece ser inconciliável: o modelo regulatório e o modelo educativo.


Nos modelos educativos, ou formativos, há o compromisso com o desenvolvimento da própria instituição avaliada, a partir da utilização dos resultados obtidos na avaliação. Todo o procedimento da avaliação é organizado em função das características da instituição e da sua capacidade de aproveitamento dos resultados produzidos. Neste caso, é muito desejável o envolvimento de todo o corpo social, de todos os segmentos da instituição, tanto nas etapas de preparação como nas etapas de execução e análise. Este modelo é utilizado principalmente nos processos de auto-avaliação, ou processos em que a auto-avaliação é tomada como eixo, como atividade central da avaliação. Os avaliadores devem estar bem treinados e convictos de que o seu papel será sempre de contribuir para que a instituição supere as suas dificuldades, aumentando gradativamente o nível de qualidade do trabalho que realiza. Esta compreensão do papel do avaliador deve estar clara também para os avaliados, para que se possa superar o temor e a desconfiança que naturalmente se instala entre as partes envolvidas num processo de avaliação.


Nos modelos regulatórios, ao contrário, não há um compromisso direto com o desenvolvimento da instituição e sim com a manutenção da qualidade do sistema como um todo, mesmo sabendo que a manutenção da qualidade do sistema pode implicar o aumento da qualidade das instituições que compõem o sistema. O efeito, portanto, é indireto. A forma de conduzir o processo é também radicalmente diferente, pois os avaliadores partem de critérios preestabelecidos, que indicam como as instituições devem funcionar para garantir o nível de qualidade mínima aceitável. A avaliação, neste caso, procura identificar se a instituição atende ou não aos critérios determinados, se os objetivos previamente demarcados foram ou não cumpridos. Por esta lógica, quando uma instituição atende aos critérios, significa que a qualidade do seu trabalho está assegurada. O papel do avaliador é sempre de identificação, verificação dos indicadores e ele deve estar muito bem treinado para fazer o seu trabalho de forma objetiva, com o máximo de imparcialidade e isenção.


A diferença entre os dois modelos, então, está na concepção filosófica e metodológica, ambas refletidas na postura dos avaliadores, tanto na condução do processo de avaliação, como na etapa posterior, ou seja, a forma de utilização dos resultados. Embora os modelos tenham padrões preestabelecidos que orientam a ação e os procedimentos a serem seguidos, a postura, o comportamento do avaliador quando executa o seu trabalho, será definitivamente importante para que os resultados produzidos pela avaliação sejam úteis à sua finalidade. Caso o avaliador se coloque como um elemento que auxilia o processo de desenvolvimento da instituição ou, ao contrário, ele se coloque como um auditor do sistema, fiscalizando os procedimentos institucionais, haverá uma grande diferença quanto ao modelo de avaliação adotado.


O avaliador está subordinado ao seu modelo de referência, sem importar o status do tema da avaliação: se as avaliações do educador diferem das do inspetor, do aluno ou do examinador, embora sejam efetuadas a partir do mesmo produto real, talvez seja porque o status dos avaliadores não é o mesmo e, certamente, isso acontece porque os modelos de referência de todos não são os mesmos, o que os leva a considerar e categorizar indicadores diferentes no mesmo produto real, ou categorizar diferentemente os mesmos indicadores (BONNIOL; VIAL, 2001, p. 35-36).


Objetivos e finalidades do SINAES


Em abril de 2003, o então Ministro da Educação Cristovam Buarque instituiu a Comissão Especial da Avaliação da Educação Superior – CEA, com a finalidade de “analisar, oferecer subsídios, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação da Educação Superior...” (BRASIL, 2004). No documento produzido em 2004 intitulado ‘SINAES: da concepção à regulamentação’, a comissão dedicou a primeira parte do trabalho para tratar do ‘diagnóstico do marco legal e dos procedimentos de verificação e avaliação da educação superior’. São 58 páginas de um total de 157, com uma descrição minuciosa dos procedimentos de avaliação utilizados no Brasil, destacando os procedimentos regulatórios. Dentre os problemas diagnosticados pela CEA, destaca o formato gerencialista adotado pelo Ministério de Educação, a falta de interação entre os diferentes processos de avaliação.


A proposta apresentada pela CEA em forma de um sistema (Sistema Nacional de Avaliação da Educação Superior – SINAES), como já foi apresentado, é constituído por três processos: a avaliação institucional, nas suas dimensões interna e externa; a avaliação dos cursos de graduação – AVALIES; e o processo de avaliação integrada do desenvolvimento educacional e da inovação – PAIDEIA. Este último viria a se transformar no Exame Nacional do Desempenho dos Estudantes – ENADE. A avaliação institucional é o eixo do processo e, além disso, incorpora as informações e resultados do Censo da Educação Superior, o Cadastro das Instituições de Ensino Superior, a avaliação feito pelas comissões do MEC/INEP, e a avaliação da Pós-graduação.


O SINAES é fundamentado num conjunto de princípios, pressupostos e premissas, que lhes dão coerência nos procedimentos e na organização e operacionalização dos processos e procedimentos:


1. Educação é um direito social e dever do Estado;


2. Valores sociais historicamente determinados;


3. O Estado e a sociedade têm responsabilidade na Regulação e controle


4. A avaliação é Prática social com objetivos educativos


5. Respeito à identidade e diversidade institucionais em um sistema diversificado


6. O princípio da globalidade


7. O princípio da legitimidade


8. O princípio da continuidade.


São princípios que ressaltam os valores e interesses sociais da educação. O conceito de avaliação adotado pela CEA traduz uma nítida preocupação com “os compromissos e responsabilidades sociais das instituições”, com a promoção dos “valores democráticos, o respeito à diversidade, a busca da autonomia e a afirmação da identidade” (BRASIL, 2004, pg. 83). Além disso, o SINAES deve assegurar a articulação entre diversas dimensões e aspectos da avaliação, tais como, o quantitativo e o qualitativo; as dimensões internas e externas; o particular e o universal; o formativo (caráter educativo) e o somativo (caráter regulatório). 


De modo especial, esse sistema deve articular duas dimensões importantes: a) avaliação educativa propriamente dita, de natureza formativa, mais voltada à atribuição de juízos de valor e mérito em vista de aumentar a qualidade e as capacidades de emancipação e b) regulação, em suas funções de supervisão, fiscalização, decisões concretas de autorização, credenciamento, recredenciamento, descredenciamento, transformação institucional, etc., funções próprias do Estado. (BRASIL, 2004, pg. 85).


Entre os anos de 2004 e 2007 houve uma grande preocupação das autoridades educacionais em destacar a função educativa ou formativa da avaliação. O estabelecimento de normas e diretrizes, a indicação dos procedimentos a serem adotados pela IES para a avaliação institucional, enfatizava sempre a necessidade de um diagnóstico das condições da IES e a implementação de ações que pudessem reverter as condições consideradas desfavoráveis. A partir de 2007 a revisão dos instrumentos de avaliação, que Franco (2012) justificou pela necessidade de evitar as “maquiagens” feitas nas IES para receberem as comissões de avaliações, marca uma nova orientação em relação ao SINAES. O mesmo autor destaca, ainda, outras providências importantes adotadas pelas autoridades educacionais: a definição do que seria o ciclo avaliativo, a introdução dos índices de qualidade (CPC - Conceito Preliminar de Curso; IGC- Índice Geral de Curso; Conceito ENADE, etc), e o ENADE como elemento disparador do ciclo avaliativo, movimento este que culminou com a criação da Secretaria de Regulação da Educação Superior (SERES) em 2010. Estavam estabelecidas, portanto, as bases para a regulação. Assim, a partir de 2007, a preocupação com o desenvolvimento institucional cede lugar à preocupação com o desempenho e, os efeitos regulatórios assumem papel de destaque nos processos de avaliação institucional. O SINAES abandona a lógica da avaliação formativa e acentua a lógica da avaliação somativa, conforme denunciou Dias Sobrinho (2010). A ênfase na regulação e, sobretudo, no ENADE, termina por produzir equívocos semelhantes àqueles produzidos pelo ENC, também destacados por Dias Sobrinho (2010), tais como: confundir avaliação de desempenho de estudante com avaliação de curso, a adoção de índices que permitem formação de ranckings de cursos e de instituições, que favorecem menos ao aprimoramento da qualidade da educação superior e mais à competição entre as IES, à disputa por recursos e reconhecimento na mídia.


Conclusão


O SINAES, em função dos seus objetivos e finalidades, conjuga os dois modelos de avaliação: a avaliação formativa, de caráter educativo, com o intuito de radiografar o funcionamento da IES, apontando os seus pontos fortes e fracos, permitindo, assim, o aprimoramento contínuo do seu trabalho; e a avaliação regulatória, ou somativa, com o intuito de verificar as condições de funcionamento da IES, exigindo um padrão mínimo de qualidade para a sua permanência no Sistema Federal de Ensino Superior. Este parece ser o grande desafio do SINAES. Conjugar estas duas funções num mesmo sistema de avaliação, envolvendo avaliadores e avaliados, representantes de mantenedores, de docentes/técnicos administrativos e discentes e, principalmente, envolvendo avaliadores com posturas diferentes a depender do tipo de avaliação que realizam: ora estão numa posição de examinar as condições de organização e funcionamento da instituição, contribuindo, assim, com a sua evolução qualitativa, ora estão numa posição de fiscalização, verificando se as condições preconizadas pela instituição existem e são efetivas. 


Esta dupla finalidade foi também apontada por Polidori, Marinho-Araújo e Barreyros (2006), que consideraram um desafio a ser vencido pelo SINAES. A coexistência dessas duas funções parece indicar uma tentativa de solucionar problemas observados nos processos de avaliação anteriores ao SINAES, quando a ênfase num modelo ou no outro produziu ganhos em determinados aspectos, e prejuízos em outros, tão bem explicitados por Dias Sobrinho (2006; 2010). Ainda que, na sua concepção original, o SINAES indicasse claramente a idéia de articulação de metodologias e instrumentos de avaliação aplicados nas instituições de ensino superior, com vistas à produção de significados, estabelecendo, portanto, uma visão sistêmica das condições da educação superior brasileira, na prática esta concepção terminou por ceder lugar à facilidade dos índices e dos conceitos. Os aspectos políticos desta mudança foram discutidos por Limana (2008). Porém, é provável que esta mudança de posição indique, dentre outros motivos, as dificuldades técnicas inerentes à tarefa de avaliação institucional. A dificuldade de trabalhar com essas duas perspectivas concomitantemente, ainda que não sejam excludentes entre si, requer a preparação técnica e o amadurecimento de todos os atores envolvidos nos processos de avaliação, supervisão e regulação do Sistema de Educação Superior, condição esta difícil de ser conseguida em curto ou médio prazos. 


De fato, isto parece ter-se evidenciado nos relatórios de auto-avaliação da IES entre o período de 2004 a 2007, analisados pelo INEP (INEP, 2011). O trabalho aponta que um número expressivo de relatórios analisados não contemplou as dez dimensões propostas pelos SINAES. Os relatórios, de um modo geral, apresentam registro de coleta e apresentação de dados, porém com pouca consistência entre os resultados e o contexto da IES. Mais da metade dos relatórios analisados apresentam os dados, porém sem análise e interpretação. Um dado inquietante aparece neste estudo: 63% dos relatórios analisados afirmam ter sugerido às IES ações de melhorias com base nos resultados obtidos na avaliação. No entanto, apenas 25,6% apresentaram a efetivação de algumas dessas ações de melhorias. E, além disso, 63% dos relatórios analisados não evidenciaram uso dos resultados no re-planejamento institucional. Os dados parecem indicar que a auto-avaliação ou avaliação interna, que fica a cargo da própria instituição, tem servido mais para cumprir exigências legais do que para oferecer parâmetros para o aprimoramento da própria instituição. Dito de outro modo, as IES preocupam-se mais com os efeitos regulatórios decorrentes da avaliação do que com os benefícios que os resultados da sua auto-avaliação podem oferecer para o planejamento e o desenvolvimento institucional.


O ponto de vista adotado pelas autoridades educacionais a partir de então, reduz a avaliação institucional aos procedimentos de medida e de controle, conforme denunciado por Dias Sobrinho (2008), e a ênfase na regulação produz, entre outros efeitos, a dificuldade com a institucionalização da avaliação nas IES, pois todo o processo passa a ser concebido com vistas a alcançar, no mínimo, os conceitos, pré-estabelecidos para livrar a IES dos efeitos regulatórios. Vale destacar que o Sistema Federal de Ensino Superior brasileiro é composto por IES de grande porte, destas uma boa parte públicas, cujo mantenedor é o Governo Federal; um pequeno percentual de instituições confessionais e comunitárias, sem fins lucrativos; e uma grande quantidade de IES de médio e pequeno portes, normalmente faculdades privadas, com fins lucrativos. Neste caso, como a regulação é exercida pelo próprio Estado, que também é o mantenedor das grandes instituições educacionais, as consequências de uma eventual avaliação negativa não produzirão grandes consequências sobre o funcionamento destas IES, embora afete a sua reputação e o seu prestígio perante a sociedade. Do mesmo modo, as IES de grande porte privadas, cujos mantenedores são grandes grupos econômicos, mesmo com a imagem abalada por uma eventual avaliação negativa, terão fluxo de caixa suficiente para reverter a sua imagem através da publicidade⁽⁴⁾. Assim, os efeitos de uma avaliação negativa sobre as IES de médio e pequeno portes, privadas, mantidas por famílias ou pequenos grupos empresariais, são muito mais intensos e podem ser devastadores, colocando em risco a própria sobrevivência institucional. De fato, nos últimos anos a incorporação das IES de pequeno porte por grandes grupos econômicos internacionais foi bastante intensa. Esta situação acentua ainda mais o problema das funções do SINAES, pois, como as IES de pequeno porte constituem a maior parte do Sistema Federal de Ensino Superior⁽⁵⁾, a função regulatória da avaliação termina sobressaindo-se, mais uma vez, em detrimento da função educativa. Daí porque, no âmbito das IES, a implementação da avaliação obedece à lógica da prudência, fazendo com que as IES adotem uma postura defensiva, “ritualizando” a avaliação e tentando garantir uma avaliação positiva do seu trabalho, por parte dos órgãos reguladores. O futuro do SINAES, portanto, vai depender, em grande parte, da forma como O Ministério da Educação pretende lidar com a regulação do Sistema Federal de Ensino Superior.


Referências


• AFONSO, Almerindo Janela. A avaliação no contexto organizacional da empresa e da escola. Fragmentos de percursos comparados. Revista Portuguesa de Educação, Lisboa, v. 5, n. 3, p. 81-03, 1992.

• AFONSO, Almerindo Janela. Avaliação educacional: regulação e emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2000.

• BONNIOL, Jean-Jacques; VIAL; Michael. Modelos de avaliação: textos fundamentais com comentários. Porto Alegre: Artmed, 2001.

• BRASIL. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES. Brasilia, 2004.

• CASTREJÓN DIEZ, J. Las bases filosóficas de la planeación. H. Cámara de Diputados, LIV Legislattura, Comisión de Ciencia y Tecnología, México, 1991.

• COUSINS, J. B.; EARL, L. (Eds.). Participatory evaluation in education: studies in evaluation use and organizational learning. London: Falmer, 1995.

• CONTERA, Cristina. Modelos de la evaluación de la calidad de la educación superior. Avaliação, Campinas; Sorocana, v. 1, n. 5, p. 07-18, mar. 2000.

• DIAS SOBRINHO, José. Avaliação Institucional: marcos teóricos e políticos. Avaliação, Campinas, v. 1, n. 1, p. 15-24, jul. 1996.

• DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.

• DIAS SOBRINHO, José. Avaliação: políticas educacionais e reformas da educação superior. São Paulo: Cortez, 2003.

• DIAS SOBRINHO, José. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação, Campinas; Sorocaba-SP, v. 15, n. 1, p. 195-224, mar. 2010.

• FRANCO, S.R.K. O SINAES em seu processo de implementação: desafios e perspectivas. Revista Entreidéias, Salvador, v. 1, n. 2, p. 9-25, jul./dez. 2012.

• HOUSE, Ernest R.; HOWE, Kenneth R. Valores en evaluación e investigación social. Madri: Morata, 2001.

• INEP. SINAES. Avaliação dos relatórios de auto-avaliação das instituições de educação superior. Brasília: INEP, 2011. v. 3.

• LEITE, Denise. Reforma universitária: avaliação institucional e participativa. Petrópolis: Ed. Vozes, 2005.

• LIMANA, A. Desfazendo mitos: o que estamos fazendo com o SINAES. Avaliação, Campinas; Sorocaba-SP, v. 13, n. 3, p. 869-873, nov. 2008.

• POLIDORI, Marlis M.; MARINHO-ARAÚJO, Claisy M.; BARREYRO, Gladys B. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio, Rio de Janeiro, v. 14, n. 53, p. 425-436, out. /dez. 2006.

• SANTOS, Boaventura Souza. Pela mão de Alice: o social e o político na pós modernidade. São Paulo: Cortez, 2006.

• SAUL, Ana Maria. Avaliação emancipatória: desafios à teoria e a prática de avaliação de currículos. São Paulo: Cortez, 2001.

• SCHWARTZMAN, Jacques; SCHWARTZMAN, Simon. O ensino superior privado como setor econômico. Ensaio, Rio de Janeiro, v. 10, n. 37, p. 411-440, out./dez. 2002.

• SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR (SINAES). SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais, 2004.

• SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR (SINAES). Instrumento de Avaliação de Cursos de Graduação. Brasília: Inep, 2006.


• 1
  Documento apresentado pela Comissão Especial de Avaliação da Educação Superior (CEA), designada pelas Portarias MEC/SESU nº 11 de 28 de abril de 2003 e nº 19 de 27 de maio de 2003.
• 2
  Auditoria é um termo mais empregado como fiscalização, normalmente aplicado no campo financeiro. Uma distinção entre estes termos pode ser vista em Bonniol e Vial (2001, p. 190).
• 3
  Este mesmo princípio encontra-se nos instrumentos de avaliação externa de cursos de graduação, componente do SINAES (SINAES, 2006).
• 4
  Estima-se que o mercado privado educacional brasileiro movimenta quantias da ordem de 10 bilhões de reais por ano. Uma parcela significativa deste montante é investida em publicidade (SCHWARTZMAN; SCHWARTZMAN, 2002, p. 1).
• 5
  Cerca de 70% do Sistema Federal de Ensino Superior é composto por IES privadas, de pequeno porte, com até 600 alunos.

Datas de Publicação

• Publicação nesta coleção
  Mar 2015

Histórico

• Recebido
  10 Fev 2013
• Aceito
  26 Jun 2013