Acessibilidade / Reportar erro

Avaliação institucional externa no SINAES: considerações sobre a prática recente

External institutional evaluation in SINAES: regards at recent experience

Resumos

Tendo como ponto de partida os princípios que fundam toda avaliação, esse artigo aborda os resultados do primeiro grupo de universidades que foram objeto da avaliação institucional externa do Sianes, no período 2008 - 2009. São analisados procedimentos adotados para essa avaliação como a constituição do Basis, o instrumento de avaliação externa e os resultados gerais obtidos pelas universidades federais e privadas que foram avaliadas com conceitos mais elevados. Outros indicadores de qualidade da educação superior das mesmas instituições como a composição do corpo docente, o número de cursos de doutorado avaliados com conceitos mais elevados e a relação entre alunos de graduação e de pós-graduação são também analisados e comparados com os resultados obtidos por essas instituições na avaliação institucional externa. O estudo questiona essa avaliação institucional externa, tendo em vista o papel desempenhado por ela na produção de sentidos para as instituições avaliadas e na formulação de políticas públicas.

Avaliação institucional; Educação superior; Metaavaliação; Universidade; Qualidade


The purpose of this article is to study, based on the principles that found all evaluation, the outcomes of the external institutional evaluation of Sinaes during the period of 2008 to 2009. We evaluated the procedures adopted for this evaluation, such as the constitution of Basis, the instrument of external evaluation and the general results obtained by the federal and private universities that were rated with the highest grades. Other quality indicators for higher education from the same institutions, such as the composition of the teaching staff, the number of highly rated doctorate programs and the relation between undergraduate and graduate students, were also analyzed and compared with the results obtained by these universities in the external institutional evaluation. The study questions the results of this external institutional evaluation, based on the role that it plays on the production of meaning for the evaluated institutions and on the formulation of public policies.

Institutional evaluation; Higher education; Metaevaluation; University; Quality


Avaliação institucional externa no SINAES: considerações sobre a prática recente1 1 Uma primeira versão deste artigo foi apresentada no XV Encontro Nacional de Didática e Prática de Ensino, realizado em abril de 2010.

External institutional evaluation in SINAES: regards at recent experience

Maria do Carmo de Lacerda Peixoto

Doutora em Educação. Professor Associado da Faculdade de Educação. Diretora de Avaliação Institucional. Universidade Federal de Minas Gerais. E-mail: mcarmo@ufmg.br

RESUMO

Tendo como ponto de partida os princípios que fundam toda avaliação, esse artigo aborda os resultados do primeiro grupo de universidades que foram objeto da avaliação institucional externa do Sianes, no período 2008 - 2009. São analisados procedimentos adotados para essa avaliação como a constituição do Basis, o instrumento de avaliação externa e os resultados gerais obtidos pelas universidades federais e privadas que foram avaliadas com conceitos mais elevados. Outros indicadores de qualidade da educação superior das mesmas instituições como a composição do corpo docente, o número de cursos de doutorado avaliados com conceitos mais elevados e a relação entre alunos de graduação e de pós-graduação são também analisados e comparados com os resultados obtidos por essas instituições na avaliação institucional externa. O estudo questiona essa avaliação institucional externa, tendo em vista o papel desempenhado por ela na produção de sentidos para as instituições avaliadas e na formulação de políticas públicas.

Palavras chave: Avaliação institucional. Educação superior. Metaavaliação. Universidade. Qualidade.

ABSTRACT

The purpose of this article is to study, based on the principles that found all evaluation, the outcomes of the external institutional evaluation of Sinaes during the period of 2008 to 2009. We evaluated the procedures adopted for this evaluation, such as the constitution of Basis, the instrument of external evaluation and the general results obtained by the federal and private universities that were rated with the highest grades. Other quality indicators for higher education from the same institutions, such as the composition of the teaching staff, the number of highly rated doctorate programs and the relation between undergraduate and graduate students, were also analyzed and compared with the results obtained by these universities in the external institutional evaluation. The study questions the results of this external institutional evaluation, based on the role that it plays on the production of meaning for the evaluated institutions and on the formulation of public policies.

Key words: Institutional evaluation. Higher education. Metaevaluation. University. Quality.

INTRODUÇÃO

A avaliação foi sistematizada na educação superior brasileira a partir da década de 1980, quando teve início a avaliação da pós-graduação, pela Capes. Na graduação, no entanto, ela se estruturou apenas a partir da década de 1990, e com a aprovação da Lei Nº. 10.861, de 14 de abril de 2004, que instituiu o Sistema Nacional deAvaliação da Educação Superior - SINAES, o País passou a dispor de um conjunto de procedimentos avaliativos para este nível de ensino, que envolve desde a instituição até o desempenho do estudante. Entre esses procedimentos destaca-se a avaliação institucional, procedida em duas etapas: auto-avaliação e avaliação externa, sendo que a primeira foi realizada pelas instituições de ensino superior (IES) entre 2004 e 2006, enquanto a avaliação institucional externa teve início no final de 2008. Até 2009, estavam previstas para receber a visita de comissões cerca de 700 IES.

Como membro da Comissão Própria de Avaliação (CPA) da minha universidade e tendo envolvimento com estudos relacionados à temática da avaliação da educação superior de modo geral, tenho a avaliação institucional como objeto de meu especial interesse, destacando-se a realização de estudo sobre a avaliação interna, onde foi focalizado o papel das CPAs nas universidades federais. Esse interesse pelo tema foi intensificado, de modo particular, pela oportunidade de vivenciar o processo de avaliação externa da universidade a que estou vinculada, realizada em 2009, que me proporcionou importantes elementos de análise. Neste artigo serão trabalhados os resultados do processo de avaliação externa das IES brasileiras, realizado entre 2008 e 2009, tendo em vista as características que vêm sendo impressas a essa atividade. Esses resultados serão analisados tendo como termo de comparação os objetivos que foram propostos para o SINAES, quando de sua concepção.

As análises aqui elaboradas poderão contribuir para a metaavaliação do processo de implementação do SINAES, considerando suas possibilidades efetivas de realização enquanto um sistema de avaliação da educação superior, e o seu aprimoramento. Para tanto, serão abordados, entre outros aspectos, os procedimentos adotados para por em prática a avaliação institucional externa, tais como a constituição do banco de avaliadores e o instrumento de avaliação externa. Dados os limites do artigo, serão discutidos apenas os resultados das universidades com os conceitos mais elevados nessa etapa do processo.A partir desses resultados serão feitas comparações com outros critérios de qualidade da educação superior, como composição do corpo docente, cursos de doutorado avaliados com conceitos mais elevados, proporção de alunos de graduação em relação aos de pós-graduação, etc. A partir dessas comparações serão, então, apresentadas as conclusões.

OS SENTIDOS DA AVALIAÇÃO

A expansão de matrículas nos sistemas de educação superior, que ocorreu em vários países a partir da década de 1960, teve entre suas consequências a disseminação de instituições de ensino que atuam com condições de infra-estrutura e recursos humanos considerados inadequados, e cujos projetos curriculares nem sempre atendem às demandas da sociedade no que concerne à produção e difusão do conhecimento. A busca por programas e/ou sistemas avaliativos para mensurar o trabalho e a eficácia das instituições de ensino superior, a pertinência de suas ações ou a promoção de maior equidade nos sistemas de ensino, como forma de legitimar os recursos nelas aplicados e de redirecionar os investimentos, passaram a ocupar, então, as agendas de muitos países.

Nessas circunstâncias, a qualidade é um termo que adquiriu particular relevância. Conceito polissêmico, de compreensão sempre subjetiva, porque depende fundamentalmente das concepções de mundo e de educação superior de quem dele faz uso, qualidade pode ser entendida com o significado de propriedade, atributo ou condição das coisas ou pessoas que é capaz de distingui-las das outras e de lhes determinar a natureza. Não é uma adjetivação que remete a um construto universal, são propriedades que se encontram nos seres, ações ou nos objetos, explicitando um valor (CUNHA, 2009).

Bertolin (2009) destaca a predominância de três tendências que caracterizam a qualidade da educação superior no contexto atual. A primeira é a visão economicista, para a qual a educação superior teria como missão principal contribuir para o crescimento da economia e preparar os indivíduos para o mercado de trabalho, sendo caracterizada pelo uso de termos como empregabilidade e eficiência e enfatiza a educação superior como instrumento necessário à potencialização do crescimento da economia e da empregabilidade. A segunda tendência é a visão pluralista que, além de ressaltar o papel relevante da educação superior no processo de desenvolvimento econômico, também valoriza seu papel no desenvolvimento cultural, social e democrático, sendo caracterizada pela incidência de termos como diferenciação, pertinência e relevância e a ênfase na participação da educação superior na emergência das especificidades locais. A terceira tendência, finalmente, é a visão de equidade, para a qual a educação superior tem por missão contribuir para a coesão social, nela ganhando destaque o termo equidade, tanto com o significado de igualdade de oportunidades de acesso à educação superior, quanto com o sentido de nível de homogeneidade da educação que é proporcionada pelas instituições.

Goergen (2008), alerta para o risco de que a avaliação executada venha a assumir caráter apenas performático, isto é, de que seu resultado leve a identificar na educação superior apenas a sua melhor contribuição possível para o sistema social, formando indivíduos com as competências necessárias para competir internacionalmente e para garantir a manutenção da coesão interna. Esse alerta conduz à pergunta de qual seria o modelo de instituição de ensino superior, em termos de seu estatuto epistêmico-ético e de pertinência social, com o qual opera determinada avaliação institucional. Havendo a expectativa de que a avaliação deva refletir sobre os sentidos e valores do cumprimento do mandato social da educação, desempenhada em cada um dos seus componentes, esse modelo precisa ser explicitado. Uma resposta para a pergunta pode ser encontrada na afirmação de Dias Sobrinho, para quem a avaliação

deve estar focada na questão dos sentidos do cumprimento, por parte da educação superior, seja nos níveis internos de cada curso e instituição ou nas escalas mais amplas dos sistemas, daquilo que essencialmente lhe determina a sociedade: a formação de cidadãos, o aprofundamento dos valores democráticos da vida social, a elevação material e espiritual da sociedade (2008, p. 182).

Na prática das políticas de avaliação implementadas no Brasil, esteve evidente a existência de um confronto entre duas abordagens metodológicas, a quantitativa e a qualitativa. A primeira salienta a mensuração de desempenho e resultados, a hierarquização das IES e se orienta principalmente para a supervisão do funcionamento institucional. A segunda busca compreender e atribuir significados aos processos e atividades acadêmicas, e identificar formas para superar fragilidades e desenvolver potencialidades. Essas concepções se concretizaram primeiro na vigência da Lei Nº. 9.131, de 1995, em que a avaliação esteve centrada na dimensão do ensino, com foco na produtividade, eficiência, prestação de contas e controle do desempenho frente a um padrão estabelecido, direcionada para o processo externo de verificação de cursos e instituições e desenvolvido sem articulação com os processos institucionais internos.

Essa regulamentação foi substituída pela Lei Nº. 10.861 de 2004, que instituiu o SINAES. A proposição desse sistema teve por objetivo construir um sistema nacional de avaliação que articulasse a regulação e a avaliação educativa, esta última numa perspectiva mais formativa e voltada para a atribuição de juízos de valor e mérito, tendo em vista o incremento da qualidade e as capacidades de emancipação. Para atingir maior grau de realização da responsabilidade social e científica das instituições e da educação superior, esse sistema pretendeu "incorporar aos processos avaliativos todos os agentes, todas as dimensões e instâncias das instituições, respeitados os papéis específicos dos participantes, a identidade e a missão de cada uma delas." (SINAES, 2007, p. 98). Nas Diretrizes para Avaliação da Educação Superior (BRASIL/MEC/CONAES, 2004), elaboradas pela Comissão Nacional de Avaliação da Educação Superior (Conaes), está expressa a compreensão de qualidade institucional a ser buscada pela avaliação:

o processo de avaliação institucional, em sua dimensão interna e externa, não pode projetar sobre as IES um modelo externo e abstrato de qualidade institucional. Na concepção do SINAES, cabe às próprias instituições gerar um modelo institucional nos termos de sua missão e, a partir dele, deve ser avaliada a instituição real (p. 17).

As práticas desse sistema, em período recente, vêm ressaltando, no entanto e de forma acentuada, a supervisão e a regulação, em detrimento da avaliação. A prevalência dessa orientação se contrapõe aos objetivos propostos quando da formulação da política em questão, sendo merecedora de análise mais acurada no processo de debate e gestão do tema. Não é este, contudo, o propósito do presente artigo, pois o que se busca aqui é uma aproximação maior com um dos componentes dessa política no contexto atual, qual seja, o da avaliação institucional externa.

O SINAES A AVALIAÇÃO INSTITUCIONAL EXTERNA

A proposta do SINAES se baseia numa concepção global e integradora de avaliação e educação, estruturada a partir da integração entre diversos instrumentos e momentos de aplicação. Nessa perspectiva, nas diretrizes para avaliação já mencionada a Conaes salienta que a avaliação institucional visa a instituição de ensino superior como uma totalidade integrada, buscando identificar o grau de coerência que existe entre sua missão e as políticas institucionais efetivamente realizadas. A avaliação institucional externa, em especial, é vista como um instrumento cognitivo, crítico e organizador das ações da instituição e também do Ministério da Educação, devendo ser coerente com a avaliação da dimensão interna. Para ser realizada, ela exige organização, sistematização e interrelação de um conjunto de informações quantitativas e qualitativas, além da formulação de juízos de valor sobre a qualidade das práticas e da produção teórica de toda a instituição. Tendo em vista que os agentes internos da IES estão habituados a uma apreciação acrítica das rotinas da instituição e também por causa de seus interesses corporativos, considera que a avaliação institucional externa teria potencial para corrigir eventuais erros de percepção produzidos pela autoavaliação. Ainda conforme estabelecido pela Conaes, os resultados do processo de avaliação institucional - envolvendo autoavaliação e avaliação externa - expressos em relatório, devem ser a ela encaminhados para parecer conclusivo, o qual, enviado para os órgãos competentes, irá se constituir na

base para subsidiar a melhoria da qualidade acadêmica e o desenvolvimento de políticas internas da IES, bem como para a implantação ou manutenção de políticas públicas relacionadas à regulação do sistema de educação superior do País (BRASIL/MEC/CONAES, 2004, p. 22).

Essas são, em linhas gerais, as características centrais da concepção de avaliação institucional que está presente nas orientações do SINAES. A seguir, será apresentado o modo como se concretizou essa etapa do processo.

A ORGANIZAÇÃO DO PROCESSO DE AVALIAÇÃO INSTITUCIONAL

No cronograma relativo à interação entre a Conaes, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) e as CPAs para realizar a avaliação institucional, constante do documento "Diretrizes para Avaliação da Educação Superior", estava previsto que, até dezembro de 2004, as comissões deveriam enviar à Conaes seus projetos de autoavaliação e, até meados de 2005, deveriam produzir um relatório parcial desta atividade. O relatório final, incorporando a contribuição das comissões externas de avaliação, deveria estar pronto até meados de 2006 (BRASIL/MEC/CONAES, 2004, p. 29, 30).

Posto dessa forma fica implícita a prioridade da avaliação institucional em relação aos demais processos que compõem o SINAES. Isso porque, em meados de 2006, o primeiro ciclo do Exame Nacional de Desempenho dos Estudantes (ENADE) ainda não teria sido completado, nem todos os cursos de graduação teriam sido visitados por comissões externas. O papel da avaliação institucional, refletido nesse cronograma, seria de iluminar a instituição de educação superior (IES) na formulação de suas políticas em relação aos resultados das avaliações dos cursos e do desempenho dos estudantes, que seriam divulgados posteriormente. Essa percepção é reforçada pela afirmação de Dias Sobrinho, para quem o SINAES tinha a pretensão de operar com um paradigma de avaliação distinto do vigente até então, em que o estudante e os cursos eram avaliados isoladamente. Segundo este autor, o

foco central é a instituição como um todo. O curso e o aluno não mais seriam avaliados isoladamente, mas em função da totalidade institucional. Dessa forma, não é suficiente avaliar somente o ensino. O SINAES tenta recuperar o conceito mais complexo de educação superior, cuja finalidade essencial é a formação integral de cidadãos profissionais e cuja referência central é a sociedade (DIAS SOBRINHO, 2009, p. 10).

Salienta-se ainda que dentre os procedimentos a serem adotados, segundo a concepção original do SINAES, a avaliação institucional externa seria realizada com ênfase nas áreas do conhecimento presentes na IES. Como consta do documento, ela seria feita por

membros externos, pertencentes à comunidade acadêmica e científica, reconhecidos pelas suas capacidades em suas áreas e portadores de ampla compreensão das instituições universitárias nacionais e internacionais, designados pela Conaes.Aquantidade e o formato dessa(s) comissão(ões) depende do tamanho e dos perfis da instituição ou sua organização acadêmico-administrativa, a critério da Conaes. Para uma instituição pequena e de estrutura simples, poderá bastar uma única comissão, recomendando-se que haja especialistas em todos os cursos que estejam sendo avaliados. No caso de instituições maiores e mais complexas, como as universidades, fazem-se necessárias diversas comissões, constituídas por áreas de conhecimento ou por centros e atendendo aos princípios da interdisciplinaridade e da globalidade (SINAES, 2004, p. 106/107).

Como será visto, no decorrer da execução da avaliação externa essa concepção foi concretizada de forma distinta.

a) Antecedentes das Visitas

As diretrizes da CONAES para a realização das visitas de avaliação externa não foram cumpridas conforme previsto, já a partir dos prazos definidos. Em janeiro de 2007 foi publicada a Portaria Normativa Nº1, que estabeleceu o cronograma para que as IES fizessem os requerimentos dos processos de recredenciamento institucional e renovação do reconhecimento de cursos, dos quais a avaliação é parte. A partir do final de 2008, as comissões de avaliação externa começaram a atuar sendo que, por essa época, o ENADE estava completando o segundo ciclo de aplicação de provas. Ao mesmo tempo, com o estabelecimento do Conceito Preliminar de Curso (CPC) pela Portaria Normativa Nº 4 de 2008, foi introduzido novo indicador na avaliação de cursos, que restringiu a obrigatoriedade de visitas das comissões externas apenas para aqueles cursos cujo CPC fosse 1 ou 2, numa escala de 1 a 5.

O atraso para dar início à avaliação externa deve ser atribuído, entre outros aspectos, a dificuldades enfrentadas para a implantação do sistema, tal como a necessidade de capacitar os avaliadores e a definição do instrumento de avaliação externa. A Portaria do MEC 1.027, de 2006, dispôs sobre o banco de avaliadores do SINAES, o BASIS, um cadastro nacional e único de avaliadores institucionais e de cursos, a serem selecionados pelo INEP para constituir as comissões.

Essa portaria determinou que os avaliadores fossem indicados pelos conselhos superiores das IES, pelos colegiados de cursos de graduação e por entidades científicas ou educacionais, admitindo-se, ainda, inscrição individual. O perfil dos avaliadores que foi traçado como orientação para essas indicações, compreendia, entre outros itens: ser doutor, ter produção acadêmica e intelectual comprovada no Lattes nos últimos cinco anos, ter experiência anterior em avaliação ou em atividades que comprovassem conhecimento da educação superior brasileira e ter três anos de experiência em gestão educacional, item este exigido na indicação dos avaliadores institucionais. Em casos excepcionais e em função das características dos cursos avaliados, a portaria admitia que poderiam ser selecionados avaliadores sem doutorado.

Ao mesmo tempo, estava sendo produzido o instrumento de avaliação institucional externa, num processo sujeito a alterações ao longo do período, até se chegar à sua terceira versão, que é a que está em vigor. Tendo em vista que, até então, a prática de avaliação externa existente no País se restringia à avaliação de cursos, iniciada com as "comissões de especialistas" do MEC, foi necessário capacitar de modo especial os avaliadores institucionais integrantes do BASIS. Em consequência das alterações no instrumento, os avaliadores foram sendo submetidos a processos distintos e sucessivos de capacitação2 2 Apesar das capacitações institucionais realizadas, pode-se dizer que a cultura da avaliação de cursos ainda caracteriza de forma significativa a atuação de muitos avaliadores, tendo marcado até mesmo alguns dos processos de capacitação. Isso indica a dificuldade, que ainda se faz presente, para formar bons avaliadores institucionais no Brasil e a necessidade da manutenção de procedimentos sistemáticos voltados para essa formação. . Até mesmo a avaliação de cursos teve fases distintas, sendo que, por um período, alguns deles foram visitados por comissões mistas, compostas por avaliadores institucionais e de cursos3 3 Mudanças na dinâmica de avaliação de cursos e instituições, divulgadas pela DAES/INEP em 13 de maio de 2010, indicam que o formato misto das comissões vai ser adotado novamente. O objetivo para essa alteração é o de tornar mais eficiente o processo, sendo que esse formato será aplicado quando estiverem tramitando simultaneamente três ou mais requerimentos de renovação de reconhecimento de uma mesma instituição. .

b) A Realização da Avaliação Externa

Conforme os cronogramas de avaliação externa que se encontram no portal do INEP4 4 www.inep.gov.br/superior/avaliacao_institucional/cronograma.htm, consulta em 20 de abril de 2010. , para 2008 e 2009, foram programadas avaliações externas para fim de recredenciamento de 678 instituições. Considerando as avaliações efetivamente realizadas e cujos resultados foram divulgados, os conceitos atribuídos, variando de 1 a 55 5 A atribuição de conceitos numa escala de cinco níveis, aplicados a cada uma das dimensões e são conjunto das dimensões avaliadas foi definida no parágrafo 3º do artigo 3º da Lei 10.861/2004. , apresentaram a seguinte distribuição: 5,8% das IES receberam conceito 2, 66,7% o conceito 3, 23,3% o conceito 4 e 4,2% receberam o conceito 56 6 Consulta feita ao site emec.mec.gov.br em 02 de junho de 2010. . Dessas instituições, 72 são universidades sendo 25 federais e 47 privadas e para esse grupo específico de IES foram atribuídos 7% em conceito 2, 50% em conceito 3, 37,5% em conceito 4 e 5,5% em conceito 5.

As comissões foram compostas por três a quatro membros, que realizaram essas avaliações durante três dias cada uma, independente do tamanho e complexidade da IES visitada. Considerando o volume de trabalho a ser realizado pelas comissões, é possível supor que, além da aplicação dos critérios do BASIS para a indicação dos avaliadores, fosse também levada em conta a similaridade entre a IES a que eles estavam vinculados e aquela que seria avaliada. Essa identidade facilitaria aos seus membros ter uma compreensão mais rápida da realidade institucional o que, talvez, permitisse aos avaliadores estabelecer comparações mais relevantes para o resultado do trabalho.

Não foi isso, porém o que ocorreu, pelo menos em um caso. O quadro 1 mostra algumas características do perfil de uma universidade visitada e o das IES a que pertenciam os membros da comissão de avaliação externa. Os dados demonstram haver grande dessemelhança entre elas.


Observe-se que a proporção em que as matrículas na graduação supera as da pós-graduação chega a ser o dobro da encontrada na IES visitante onde essa proporção é menor, acentuando-se fortemente a diferença nas outras duas, na ordem de dez vezes a da IES visitada. É digno de nota também o fato de que, além de serem em menor número, à exceção do avaliador proveniente da universidade federal, os programas de pós-graduação das IES dos avaliadores não oferecerem cursos de doutorado. Além disso, por razões não explicadas, a exigência da titulação no doutorado para os membros das comissões de avaliadores institucionais, prevista no BASIS, não foi cumprida nesse caso, pois a coordenação da comissão esteve a cargo de docente com título de mestre.

Cabe, ainda, um questionamento ao instrumento de avaliação institucional externa utilizado. Aprovado pela Portaria 1.264 de 2008, ele tem como parâmetro básico o "referencial mínimo de qualidade". Esse referencial mínimo é expresso pela atribuição de um conceito, numa escala de cinco níveis, para cada dimensão avaliada, indicando se a IES se encontra muito aquém, aquém, similar, além ou muito além desse parâmetro naquela dimensão. O instrumento de avaliação externa recomenda que, para determinar os níveis inferiores e superiores dessa escala, deve ser considerada uma variação da ordem de 25% e 50% em relação ao nível similar. Rettl et al (2010), em análise da avaliação da educação superior brasileira criticaram esse referencial, afirmando que o fato de as instruções para sua utilização se apoiarem em expressões vagas como "muito além" e "muito aquém", se constitui numa dificuldade para que se estabeleça um juízo de valor sobre as questões abordadas na avaliação.

Uma análise mais detalhada dessa terceira versão do instrumento de avaliação externa mostra também que, nos 41 itens que compõem as 10 dimensões avaliadas, o detalhamento do conceito de referencial mínimo de qualidade está explicitado de forma insuficiente para viabilizar sua utilização pelos avaliadores. Assim é que, em quantidade superior à desejável, são encontrados nas diversas dimensões do instrumento termos pouco precisos como "adequados" ou expressões como "adequadamente implementado e acompanhado". Do mesmo modo, há orientações no sentido de que sejam observadas "instalações gerais em quantidade e qualidade adequadas", "número significativo de professores e estudantes" e "quando a gestão institucional se pauta em princípios de qualidade". Esse modo de apresentação das instruções no instrumento permite inferir que, ao definir a posição da instituição na escala de conceitos em cada item das dimensões, a subjetividade dos avaliadores na interpretação dessas instruções possa vir a predominar em proporção mais elevada do que seria aconselhável.

Nunes et al (2009) criticam também o fato de que a complexidade e a natureza das IES sejam capturadas por meio de um único instrumento. Observam que ele

não se preocupa com o sistema na sua totalidade e, muito menos, traz em si uma visão comparativa, tomando cada entidade como um absoluto em si mesma, cuja natureza seria capturada por dez dimensões, muitas das quais exclusivamente escoradas em análises documentais, papéis, regimentos, aspirações, planos e projetos. Registre-se, ademais, que o instrumento mencionado presta nenhuma atenção à trajetória institucional de cada instituição, tomando a cada uma delas num incompreensível vácuo de história institucional (p. 29).

Em conclusão, esse período avaliativo enfrentou problemas tanto com a composição das comissões, como com a definição dos critérios de avaliação a serem aplicados pelas comissões de avaliadores e isso certamente teve repercussão sobre os resultados do processo.

c) A Avaliação Externa das Universidades

Tendo em vista o grande número de instituições visitadas no período 2008-2009, a análise dos resultados aqui realizada se restringe ao grupo das universidades e, dentre elas, aquelas que foram avaliadas com os conceitos mais elevados. Considero que, além de serem as universidades um segmento importante do sistema de educação superior brasileiro, o resultado desse pequeno grupo de IES, como se verá a seguir, já comporta elementos suficientes para atingir o objetivo do artigo, que é o de analisar a prática da avaliação institucional externa no âmbito do SINAES.

Na distribuição dos conceitos finais das 72 universidades avaliadas foram atribuídos para as 25 universidades federais 48% em conceito 4, 44% em conceito 3 e 8% em conceito 2. Por sua vez, das 47 universidades privadas avaliadas 9% receberam o conceito 5, 32% o conceito 4, 53% o conceito 3 e a 6% foi atribuído o conceito 27 7 Dados extraídos de Nunes et al (2009). .

A tabela 1 mostra o detalhamento desses resultados, em cada dimensão avaliada, tal como obtidos pelas 12 universidades públicas e as quatro privadas cujos conceitos finais foram os mais elevados em cada grupo. Deve ser destacada, em primeiro lugar, a não atribuição do conceito 5, ao longo de todas as dimensões, para a metade das universidades federais avaliadas. Do mesmo modo, chama a atenção o fato de que o conceito final não permite distinguir diferenças de desempenho entre essas doze instituições federais que, como se verá mais adiante são bastante distintas entre si.

Pelos resultados dessa tabela cabe considerar que algumas especificidades poderiam ter sido observadas, de modo especial, pelas comissões, conforme a instituição que estivesse sendo avaliada fosse pública ou privada. Dois aspectos se destacam aqui. O primeiro caso se refere à dimensão 10, em que se avalia a sustentabilidade financeira da IES para a continuidade dos seus compromissos na oferta da educação superior, considerando as políticas de captação e alocação de recursos e as políticas direcionadas à aplicação de recursos para o ensino, a pesquisa e a extensão. É relevante notar que, além de não disporem de autonomia financeira e de gestão, a mantenedora das universidades federais é o Ministério da Educação. Isso as situa em condição totalmente distinta em relação à das IES privadas porque, para as primeiras, a continuidade dos compromissos na oferta da educação superior depende, inclusive, de arranjos políticos no nível do governo. São esses arranjos que tornam possível a proposição, pelo MEC, de políticas destinadas à melhoria das condições de oferta da educação superior. Assim sendo, a atribuição de conceitos 2 e 3 para quatro IES federais nesta dimensão indica que, provavelmente, os avaliadores deram excessiva ênfase a aspectos formais ao avaliar essa dimensão nas universidades federais e não à realidade por elas vivenciada. É provável também que isso tenha ocorrido pelo fato de eles terem se guiado por uma visão, equivocada, de que uma IES mantida pelo governo federal deva demonstrar capacidade de captar recursos para assegurar sua sustentabilidade. De todo modo, é motivo de estranhamento encontrar conceitos baixos como esses na avaliação dessa dimensão em universidades federais.

Outra especificidade institucional que poderia ter recebido outro olhar na análise se localiza na dimensão 1, relativa à missão e o PDI, sua implementação e articulação com os processos de avaliação institucional, dimensão esta que também distingue universidades federais e privadas. O Plano de Desenvolvimento Institucional é documento exigido das IES privadas desde 2002, quando foi publicada a Resolução CES/CNE Nº 10. Pelo artigo 6º dessa resolução, para o credenciamento e autorização de cursos o PDI deveria ser apresentado ao Conselho Nacional de Educação pela mantenedora. Cardoso (2006) atribui essa determinação ao fato de as solicitações de credenciamento de novas instituições e de autorização de novos cursos ter atingido níveis extremamente elevados, devido à flexibilização introduzida pela LDB e ao consequente grau de autonomia às IES por ela concedido. Para esse autor, o estabelecimento do PDI como exigência legal e governamental "expressa uma maior preocupação do MEC em avaliar e controlar a qualidade das novas e velhas IPES9 9 Instituições privadas de ensino superior. e dos cursos e demais programas por elas oferecidos" (CARDOSO, 2006, p. 29).

As universidades federais, por sua vez, já nascem credenciadas sendo, por essa razão, dispensadas da obrigatoriedade da apresentação do PDI ao longo desse período da história da educação superior brasileira. Esse documento só se tornou obrigatório para elas por volta de 2004, quando da solicitação do credenciamento para a oferta, em convênio com o MEC, de cursos a distancia como os do Pró-Licenciatura, generalizando-se mais recentemente, com a criação da UniversidadeAberta do Brasil. Mesmo nesses casos, contudo, foi possível a elas se credenciarem com base em versões do plano ainda em elaboração. Quando foi divulgado o Roteiro da Autoavaliação Institucional (BRASIL/MEC/CONAES, 2004), o PDI passou a constar entre as dimensões que seriam avaliadas. Posteriormente, no inciso II dos artigos 15 e 21 do decreto 5.773 de 2006, ele foi ratificado como documento de referência na avaliação para o credenciamento e o recredenciamento de instituições. Ressalte-se, ainda, o fato de não ter sido estipulado prazo limite para que esse documento fosse formulado, de modo que a decisão de elaborá-lo resultou da interpretação dada ao artigo 21 desse decreto, que o associou à avaliação institucional interna e externa.

Foi somente a partir desse momento que a maioria das universidades federais deu início à elaboração do PDI. Nessas circunstâncias, para cumprimento do cronograma da Portaria Normativa Nº 1, algumas delas protocolaram o requerimento de recredenciamento no sistema eMEC, ainda com versões preliminares desse plano. Transcorrido mais de um ano, quando da visita das comissões externas, o INEP determinou que os avaliadores considerassem apenas a documentação que foi inserida no sistema eMEC, não admitindo a substituição daquela versão preliminar pelo documento oficial aprovado pelas instâncias das universidades. Assim sendo, esse documento foi avaliado em condições distintas entre as IES.

Os resultados da avaliação institucional externa mostram que também essa diferença não foi considerada no processo de avaliação, tendo em vista que a 20% (cinco) das universidades federais foi atribuído conceito 3, enquanto conceitos 1 e 2 foram atribuídos, cada um, a outras duas dessas instituições. Observe-se que entre as quatro IES privadas, esses conceitos não foram encontrados. É certo que a consideração, pelos avaliadores, de outros elementos contribuiu para a atribuição desses resultados na análise dessa dimensão, mas novamente não parece despropositado considerar que as características da produção do PDI desempenharam algum papel para esses resultados.

OUTROS INDICADORES DE QUALIDADE INSTITUCIONAL DAS UNIVERSIDADES

Como já mencionado, a avaliação não é fenômeno recente na história da educação superior brasileira e, os diversos instrumentos que têm sido aplicados têm possibilitado o estabelecimento de algum tipo de distinção entre instituições. Tendo em vista os resultados apresentados na tabela 1 e buscando apurar um pouco mais o estudo, serão analisados outros indicadores da qualidade dessas instituições, na tentativa de, ao compará-las, perceber relações com o que foi produzido, até o momento, pela avaliação institucional externa do SINAES. As comparações serão feitas a partir de indicadores da relação entre alunos matriculados na graduação e na pós-graduação, da dimensão que a pós-graduação ocupa nessas instituições como indicador da capacidade de produção do conhecimento, bem como dos resultados da avaliação dos cursos de pós-graduação pela Capes. Também serão comparados os resultados refletidos no Índice Geral de Cursos (IGC), indicador que combina a avaliação dos cursos de graduação no ENADE com os da avaliação da pós-graduação, além das características da formação acadêmica e do regime de trabalho das funções docentes que atuam nessas IES.

É notório que, a partir do período que vai de 1997 a 2003, correspondente à aplicação do Exame Nacional de Cursos (Provão), as instituições públicas têm se destacado nos resultados da avaliação discente da graduação e da pós-graduação, tanto no número de cursos bem avaliados quanto na abrangência das áreas do conhecimento. Na pós-graduação, 70% dos conceitos 5, 6 e 7 da avaliação 2004-2006 da Capes estão nessas instituições (PEIXOTO, 2008). Considerando essas evidências e tendo em vista que elas divergem em relação aos resultados da avaliação institucional externa nesse grupo de 72 universidades, em que nenhuma das universidades federais alcançou o conceito máximo da escala, cabe interrogar se aqueles resultados correspondem, de fato, a uma aproximação sobre a qualidade das universidades brasileiras avaliadas. Seria o desempenho das universidades federais mais destacado apenas no que se refere à oferta de cursos, mas não em sua totalidade como instituições? É necessário esclarecer que as comparações que serão feitas para responder a esse questionamento, não têm a pretensão de se situar num confronto entre IES públicas e privadas que, como se verá, não se sustenta nos dados analisados. O que se busca compreender, por meio da análise da contraposição de outros indicadores é o significado real do que foi produzido pela avaliação institucional externa realizada entre 2008 e 2009.

Em primeiro lugar, serão analisadas as diferenças que marcam a atuação dessas IES na graduação e na pós-graduação, na suposição de que elas possam evidenciar seu grau de complexidade institucional. Comparando os dois grupos de IES, a tabela 2 mostra que, na grande maioria das universidades federais avaliadas, os alunos matriculados nesses dois níveis de ensino são em proporção de 3 a 7 vezes maior na graduação do que na pós-graduação. Ou seja, a maior parte delas se ocupa, com relativo equilíbrio, do desempenho das atividades de ensino, na graduação e na pós-graduação, e de pesquisa em associação à extensão, o que lhes permite cumprir sua missão como universidade, tal como exige o artigo 52 da Lei 9394 de 1996, de Diretrizes e Bases da Educação Nacional: "As universidades são instituições pluridisciplinares de formação dos quadros profissionais de nível superior, de pesquisa, de extensão e de domínio e cultivo do saber humano". Considerando as quatro universidades onde essa proporção é mais elevada, verifica-se que, à exceção da UFSJ, a proporção em que a matrícula na graduação supera a da pós-graduação chega, no máximo, ao dobro da média das demais (5,1) o que, nesse aspecto, indica que há homogeneidade nesse conjunto de instituições.

Com relação às quatro IES privadas avaliadas com nota máxima, a proporção de matriculados na graduação/pós-graduação da PUC/RJ se aproxima da média do primeiro grupo das universidades federais. No conjunto desse grupo de universidades, no entanto, a média da matrícula na graduação é 35,9 vezes maior do que na pós-graduação. Tomando a Unicsul separadamente, essa proporção também chega a ser quase o dobro da média dessas IES, tal como ocorreu, entre as federais, com a UFSJ. Pode-se afirmar, portanto, que apesar da PUC/RJ ter perfil similar ao da maioria das instituições federais, a homogeneidade que se constata nesse grupo se faz, de maneira bastante mais acentuada, no ensino de graduação.

Esses dados evidenciam a existência de distinções tanto internamente a esses dois grupos de IES, como também entre eles, distinções essas que os conceitos finais da avaliação externa, baseada em critérios homogeneizadores, não conseguiram expressar. São instituições que se denominam universidades, mas que se caracterizam por desenvolver atividades bastante diversas, principalmente tendo em vista a ênfase colocada diante do estabelecido pelo artigo 52 da LDB. Os dados evidenciam também que os resultados dessa avaliação externa não refletem o cumprimento do propósito de respeito à identidade e missão de cada IES, tal como se pretendia nos documentos iniciais do SINAES.

O aprofundamento da análise na atuação desses dois grupos de IES, agora especificamente na pós-graduação, pode contribuir para compreender essas instituições no que concerne à sua capacidade de produzir conhecimento. A tabela 3 mostra a distribuição dos cursos de mestrado e doutorado oferecidos, o número de titulados e as áreas do conhecimento abrangidas por esses programas. Em 2008, os programas de pós-graduação dessas universidades federais ofereciam, em média, 34,1 cursos de doutorado e 48,3 de mestrado, mas apenas em três delas (UFMG, UFRGS E UFPE) essa oferta se fazia de forma equilibrada entre as duas modalidades, havendo nas demais a indicação de uma concentração maior do mestrado. Nas quatro universidades privadas, essa média era de 9,8 cursos de doutorado e 15,3 de mestrado e, considerando esse grupo sem a PUC/RJ, onde há maior equilíbrio entre as duas modalidades e os números se aproximam dos das federais, a diferença se aprofunda, baixando aquelas médias para 5,7 e 10,7 respectivamente.

Quanto às áreas do conhecimento abrangidas pelos cursos de doutorado, nas IES federais elas são em média 19,9, enquanto nas privadas correspondem à metade (10,3), proporção esta que fica ainda menor (7,0) quando a PUC/ RJ não faz parte do conjunto. Esses resultados permitem concluir não haver homogeneidade na composição de ambos os grupos, quando se trata da oferta de cursos de pós-graduação. Situação que, novamente, os conceitos finais atribuídos pela avaliação externa não possibilitam ver.

O Índice Geral de Cursos (IGC), instituído pela Portaria Normativa Nº 12 de 2008, incorpora resultados do Enade e das avaliações da Capes para emitir um conceito para o conjunto da IES. Ele será analisado agora, juntamente com os conceitos mais elevados da avaliação da Capes para os cursos de doutorado, conforme apresentado na tabela 4. Aqui novamente se destacam as distinções inter e intra os dois grupos de IES, embora elas sejam um pouco mais acentuadas nas universidades privadas.

Entre as instituições federais submetidas à avaliação externa, há três com o conceito IGC mais elevado, que não é encontrado no grupo das universidades privadas. Considerando, por sua vez, os cursos de doutorado verifica-se que os conceitos máximos atribuídos pela Capes, 6 e 7, se fazem presentes em quantidade bastante significativa em duas das universidades federais (UFMG e UFRGS) e estão ausentes de duas dessas IES. Entre as universidades privadas, esses conceitos são encontrados apenas na PUC/RJ e estão em proporção equivalente à das duas universidades federais mencionadas. Incorporando à análise também os cursos avaliados com conceito 5, constata-se que todas as IES federais registram cursos com essa avaliação, permanecendo o destaque anteriormente feito para duas dessas universidades e evidenciando-se uma distribuição dos conceitos de forma mais desigual. Entre as universidades privadas, a PUC/RJ acompanha a distribuição média das universidades federais, que é de 19,2 cursos avaliados com conceitos 5, 6 e 7, sendo que poucos doutorados são incorporados ao grupo. Como se trata aqui da aplicação de conceitos que avaliam a qualidade do conjunto dos cursos de graduação e pós-graduação (IGC) e dos cursos de pós-graduação tidos como de melhor qualidade, observa-se que o conjunto da IES avaliadas tem padrão de qualidade bastante desigual. Esse padrão é ainda mais acentuado quando se trata da proporção daqueles doutorados que, de acordo com a escala que regula a avaliação da Capes, seriam os melhores.

Um último indicador que será considerado se refere à situação do corpo docente dessas instituições, tomando como referência a presença nas IES analisadas de docentes qualificados e trabalhando em condições adequadas para desenvolver a atividade de pesquisa. Dados do Censo da Educação Superior de 2008, apresentados na tabela 5, mostram que as universidades federais apresentam um percentual elevado de funções docentes com titulação de doutorado que, à exceção de duas delas (UFBA e UFRRJ), se situam na faixa entre 60% e 80%. Nas IES privadas, por sua vez, excetuando mais uma vez a PUC/RJ cujo percentual se situa dentro da faixa predominante entre as federais, essa proporção é de cerca da metade daquela encontrada no grupo anterior.

Dados do banco de docentes do Censo da Educação Superior de 2008 mostram ainda uma característica especial das IES privadas e de duas federais nesse aspecto: a presença de funções docentes cuja titulação é apenas de graduação. Elas são encontradas em proporções mais elevadas na UPMackenzie (16,7%) e na UFRRJ (19,5%), sendo de 10,% na Unicsul, de 9% na UFSJ, de 0,5% na PUC/PR. Na PUC/RJ o percentual é irrisório, havendo apenas quatro funções docentes com essa titulação. Observe-se, ainda, que 21,9% das funções docentes da UFRRJ, 17,9% das da Unicsul, 16,8% das da UFSJ e 16,4% das da PUC/PR são exercidas por professores que têm alguma formação na pós-graduação lato senso, em cursos de especialização.

Quanto ao regime de trabalho dos docentes, nas universidades federais a proporção que trabalha em tempo integral é sempre superior a 70%, enquanto nas quatro universidades privadas ela é pouco superior a 30%. Deve ser destacada a elevada quantidade de funções docentes atuando na condição de horistas nas IES privadas o que, segundo o banco de docentes do INEP, é sempre superior a 50%: ela é de 56,7% na Unicsul, de 53,9% na PUC/PR, de 51,3% na UPMackenzie e de 64,4% na PUC/RJ. Nas universidades federais, funções docentes com essa condição foram encontrados apenas em duas IES, talvez pelo fato de estarem localizadas fora de grandes centros urbanos: a UFRPE (2%) e a UFSCar (15%)10 10 Dados colhidos no Banco de Docentes do Censo da Educação Superior de 2008, fornecido pelo INEP em 24/02/2010. .

O registro desse último grupo de dados ajuda a explicar, em boa parte, as diferenças encontradas anteriormente quanto ao número de cursos de pós-graduação oferecidos por essas universidades e quanto à proporção de alunos matriculados na graduação e na pós-graduação. Nas instituições cuja maioria do corpo docente tem doutorado e trabalha em tempo integral é onde se encontram as melhores condições para organizar e manter a oferta de cursos de pós-graduação, em maior quantidade e qualidade. Consequentemente essas são instituições que têm condições mais efetivas de cumprir, de forma adequada, o disposto no caput do artigo 52 da Lei 9394/96 de Diretrizes e Bases da Educação Nacional, como "instituições pluridisciplinares de formação dos quadros profissionais de nível superior, de pesquisa, de extensão e de domínio e cultivo do saber humano". Considerando, contudo, o elevado percentual de funções docentes horistas da PUC/RJ, essa IES se constitui em exceção, devendo ser observado, porém, que sua atuação na pós-graduação se faz em um número menor de áreas do conhecimento, aproximando-se da média das universidades federais, indicando ser possivelmente nessas áreas que se concentram as funções docentes que trabalham em tempo integral. Noutra perspectiva, a UFSJ certamente vivencia alguma circunstância especial, provavelmente relacionada à sua trajetória histórica de instituição que apenas em 2002 foi transformada em universidade. Apesar de contar com as condições adequadas para cumprir com seu papel de universidade: corpo docente qualificado e em tempo integral, sua participação na pós-graduação e na produção de conhecimento assume caráter ainda incipiente.

CONCLUSÃO

Após a análise realizada, uma pergunta se faz presente: como seria possível conciliar indicadores tão contraditórios da qualidade institucional? Como demonstrado, as universidades analisadas não são homogêneas no que se refere à capacidade de produção de conhecimento, a abrangência e qualidade da sua pós-graduação e na composição de seu corpo docente. Como conciliar essas evidências com os conceitos finais homogêneos 4 e 5 da avaliação externa? É claro que as IES não precisam, nem devem, desempenhar um mesmo papel num sistema de ensino superior pouco abrangente em termos do seu potencial no conjunto da população brasileira, com dimensões tão amplas e diversificadas. A avaliação institucional externa, contudo, deveria ser capaz de produzir mensagens que contribuíssem para esclarecer as características desses papéis e as orientações / encaminhamentos que pudessem ser assumidos pelas IES.

No início deste artigo foi mencionado que entre os princípios orientadores do SINAES, quando da sua criação, constava que os processos avaliativos deveriam incorporar todos os agentes, dimensões e instâncias das IES, respeitados os papéis específicos dos participantes, a identidade e a missão de cada uma das instituições. O resultado das avaliações institucionais externas realizadas entre 2008 e 2009, tendo em vista a análise que aqui foi feita ao comparar esse resultado com os de outros indicadores de qualidade das IES públicas e privadas, indica, contudo, que este princípio não chegou a ser atingido. Retomando Cunha (2009), para quem a qualidade de algo é aquilo que é capaz de distinguilo num conjunto e de lhe determinar a natureza, as análises comparativas aqui realizadas demonstram que o resultado dessa avaliação institucional externa não permite determinar distinções de natureza entre as 16 universidades federais e privadas avaliadas. Do mesmo modo, ele não permite também distinguir essas IES no conjunto das instituições que foram avaliadas no período estudado e nem mesmo entre elas.

De acordo com as três tendências de qualidade da educação superior que Bertolin (2009) apontou como estando presentes na atualidade, um significado pode ser apontado. Essa etapa do processo de avaliação externa se caracteriza de modo acentuado, pela tendência da visão economicista. Se tomarmos a atribuição do conceito final 5 como indicador da melhor qualidade institucional, verifica-se que a preparação de indivíduos para o mercado de trabalho, à exceção da PUC/RJ, caracteriza o grupo das quatro universidades que foram consideradas como estando "muito além do referencial mínimo de qualidade" nesta etapa da avaliação externa. Se assim não fosse, por que outra razão a atuação no ensino de graduação, preponderante nessas IES e que marca a sua identidade institucional, teria sido assim valorizada? Ou seria a identidade universitária, no sentido mais abrangente e intenso, que caracteriza as 12 universidades federais melhor avaliadas, um fator agravante para elas, quando se trata de um processo de avaliação externa? O Instrumento de Avaliação Externa, contudo, não traz nenhuma indicação no sentido de que isso deveria ser assim considerado. Como explicar, sem estranhamento, resultados como esses? É importante, novamente, reafirmar que não se trata da oposição entre público e privado, sendo apenas circunstancialmente que quatro IES privadas tiveram conceito final 5, enquanto nenhuma das federais avaliadas nesse período não atingiu esse conceito. De fato, mesmo se uma ou duas das IES federais tivesse obtido o conceito final 5, as observações feitas acima permaneceriam sendo pertinentes.

A avaliação "não pode ter a pretensão de ser a demonstração conclusiva da verdade. Sua função não é revelar ou determinar a verdade, mas, sim, fundar as possibilidades para os processos sociais reflexivos que produzam os sentidos a respeito das ações, relações e produções educativas" (DIAS SOBRINHO, 2008, p. 181). Se avaliação implica em produção de sentidos, cabe perguntar qual o significado que ela teria produzido para as IES avaliadas nessa etapa da avaliação institucional externa, de modo a fazer com que elas pudessem compreender, valorar e transformar a realidade avaliada pelas comissões externas?

Considerando os parâmetros avaliativos que foram analisados neste artigo, qual o significado dos resultados das 12 universidades federais e das quatro privadas? Teriam eles contribuído de modo importante para o aprimoramento da qualidade do trabalho por elas desenvolvido, ou eles se constituíram apenas em um ranking de classificação utilizado para efeito publicitário nos portais das IES às quais foi atribuído o conceito máximo? É mais provável que, se existe algum subsídio a ser retirado desses resultados, seja exatamente o contrário: a pouco significativa contribuição que o processo trouxe para produzir conhecimento acerca da qualidade da educação superior brasileira de hoje e para o aprimoramento das instituições avaliadas. O relatório enviado a uma das universidades federais nesse período reforça essa hipótese: as observações nele contidas não acrescentaram, para nenhuma das dimensões avaliadas, qualquer juízo ou apreciação que pudesse induzir à proposição de políticas acadêmicas para buscar introduzir mudanças visando o seu aprimoramento institucional. Ressalte-se ainda nesse caso, o papel que a Comissão Técnica de Acompanhamento e Avaliação (CTAA) desempenhou nessa etapa do processo, dado que nenhum recurso das universidades federais que foram submetidos à sua apreciação conseguiu reverter o conceito final 4 atribuído pela comissão de avaliação. Essa comissão, infelizmente, está cumprindo um papel de caráter mais burocrático e cartorial e não aquilo que dela se espera como instância recursal.

Nas suas diretrizes, a CONAES informava a pretensão de que o relatório de avaliação externa, e o parecer conclusivo que ela iria emitir, subsidiassem a melhoria da qualidade acadêmica e o desenvolvimento de políticas internas da IES, bem como a implantação ou manutenção de políticas de regulação da educação superior. Num processo avaliativo em que a visão subjetiva dos avaliadores tende a prevalecer, orientado por um instrumento eivado de conceitos vagos, organizados em comissões compostas, por vezes, de forma equivocada e com avaliadores insuficientemente capacitados, quais as possibilidades de vir a produzir sentidos sobre as ações, relações e produções educativas das IES avaliadas?

Mais grave ainda parece ser a inexistência de uma contribuição efetiva que essa avaliação está aportando para a implantação ou a manutenção de políticas para a educação superior. O elevado volume de recursos que já foi aplicado nesse processo, incluindo tempo e pessoal envolvido na produção dos instrumentos de avaliação, na capacitação de avaliadores e em visitas de comissões às IES, produziu, até o momento, um resultado pouco expressivo, em vista do que dele se esperava. Cabe perguntar, então, que mensagem resultados tão incoerentes como esses estão transmitindo para a sociedade brasileira sobre a educação superior que nela é ministrada. Que sentido pode ser encontrado nesses esses conceitos finais?

Recebido: jun. 2010

Aprovado: out. 2010

  • BERTOLIN, Júlio. Qualidade em educação superior: da diversidade de concepções à inexorável subjetividade conceitual, Avaliação, Campinas; Sorocaba, v. 14 n. 1, p. 127-149, mar. 2009.
  • BRASIL. Lei º 9131 de 24 de novembro de 1995, altera dispositivos da Lei Nº 4.0424 de 20 de dezembro de 1961. Disponível em: <http://www.presidencia.gov.br/legislacao>. Acesso em: 15 dez. 2009.
  • BRASIL. Lei Nº 9.394 de 20 de dezembro de 1996, estabelece as diretrizes e bases da educação nacional, <http://www.presidencia.gov.br/legislacao>. Acesso em: 15 jun. 1998.
  • BRASIL. CNE/CES. Resolução Nº 10 de 11 de março de 2002, dispõe sobre o credenciamento, transferência de mantença, estatutos e regimentos de instituições de ensino superior. Disponível em: <http://portal.mec.gov.br>. Acesso em: 15 dez. 2009.
  • BRASIL. Lei Nº 10.861 de 14 de abril de 2004, institui o Sistema Nacional de Avaliação da Educação Superior - SINAES. Disponível em: <http://www.presidencia.gov.br/legislaçao>. Acesso em: 8 jun. 2009.
  • BRASIL. MEC/CONAES. Diretrizes para a avaliação das instituições de educação superior. Brasília, DF, 2004.
  • BRASIL. MEC/CONAES. Roteiro de autoavaliação institucional: orientações gerais. Brasília, DF, 2004.
  • BRASIL. Decreto Federal Nº 5.773 de 09 de maio de 2006, dispõe sobre o exercício das funções de regulação, supervisão e avaliação de instituições de educação superior e cursos superiores de graduação e sequenciais no sistema federal de ensino. Disponível em: <http://www.presidencia.gov.br/legislacao>. Acesso em: 12 maio 2006.
  • BRASIL. MEC. Portaria MEC Nş 1.027, de 15 de maio de 2006, dispõe sobre o banco de avaliadores e a Comissão Técnica de Acompanhamento e Avaliação. Diário Oficial da União, Brasília, n. 92, 15 maio 2006. Seção 1, p. 9.
  • BRASIL. MEC. Portaria Normativa Nş 1 de 10 de janeiro de 2007, estabelece o calendário de avaliações do ciclo avaliativo do SINAES para o triênio 2007 a 2009. Diário Oficial da União, Brasília, n. 8, 11 jan. 2007. p. 7.
  • BRASIL. MEC. Portaria Nş 1.264 de 17 de outubro de 2008, aprova, em extrato, o instrumento de avaliação externa das instituições de ensino superior do SINAES. Diário Oficial da União, Brasília, n. 203, 20 out. 2008. p. 22.
  • BRASIL. INEP. Portaria Normativa Nş 4 de 5 de agosto de 2008, regulamenta a aplicação do conceito preliminar de cursos superiores. Diário Oficial da União, Brasília, n. 150, 6 ago. 2008. p. 19.
  • BRASIL. INEP - Portaria Nş 12 de 5 de setembro de 2008, institui o Índice Geral de Cursos da instituição.de educação superior (IGC). Diário Oficial da União, Brasília, n. 173, 8 set. 2008. p. 13.
  • CARDOSO, Wille M. O impacto do Plano de Desenvolvimento Institucional na profissionalização das instituições privadas de ensino superior 2006. 68 p. Dissertação (Mestrado) Fundação Cultural Pedro Leopoldo, Pedro Leopoldo, MG, 2006.
  • CUNHA, Maria Isabel da. A qualidade da educação superior no Brasil e o contexto da inclusão social: desafios para a avaliação. In: FÓRUMNACIONAL DE EDUCAÇÃO SUPERIOR, 2009. [Trabalho apresentado...]. Brasília: CNE, 2009.
  • DIAS SOBRINHO, José. Avaliação educativa: produção de sentidos com valor de formação, In: DIAS SOBRINHO, José, RISTOFF, Dilvo; GOERGEN, Pedro (Orgs.). Universidade e sociedade: perspectivas internacionais, Sorocaba, SP: EDUNISO, 2008. p.169-182.
  • ______ . Avaliação e transformações da educação superior brasileira (1995-2009): do Provão ao SINAES. In: SEMINÁRIO SOBRE ENSINO SUPERIOR NO BRASIL, 2009. [Trabalho apresentado...], Belo Horizonte, MG, 2009.
  • GOERGEN, Pedro. Avaliação institucional: entre a performatividade e a legitimação, In: DIAS SOBRINHO, José, RISTOFF, Dilvo; GOERGEN, Pedro (Orgs.). Universidade e sociedade: perspectivas internacionais, Sorocaba, SP: EDUNISO, 2008. p. 137-151.
  • NUNES, Edson et al. Recredenciamento de universidades: conclusões preliminares, soluções recomendadas e dilemas regulatórios para o processo deliberativo do CNE. Rio de Janeiro: Observatório Universitário, 2009. Documento de trabalho n. 90.
  • PEIXOTO, Maria do Carmo. Políticas de admissão ao ensino superior no Brasil, trajetória histórica e políticas atuais. In: Seminário Taller Internacional sobre "Políticas y Sistemas de Admissión y Nivelación a la Universidad em América Latina", 2008. [Trabalho apresentado...], Quito, Equador, 2008.
  • RETTL, Ana Maria et al. A avaliação da educação superior brasileira: um resgate. UFRGS. Educação e Realidade, Porto Alegre, (no prelo).
  • SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2. ed. Brasília: INEP, set. 2004.
  • SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 4. ed. Brasília: INEP, fev. 2007.
  • 1
    Uma primeira versão deste artigo foi apresentada no XV Encontro Nacional de Didática e Prática de Ensino, realizado em abril de 2010.
  • 2
    Apesar das capacitações institucionais realizadas, pode-se dizer que a cultura da avaliação de cursos ainda caracteriza de forma significativa a atuação de muitos avaliadores, tendo marcado até mesmo alguns dos processos de capacitação. Isso indica a dificuldade, que ainda se faz presente, para formar bons avaliadores institucionais no Brasil e a necessidade da manutenção de procedimentos sistemáticos voltados para essa formação.
  • 3
    Mudanças na dinâmica de avaliação de cursos e instituições, divulgadas pela DAES/INEP em 13 de maio de 2010, indicam que o formato misto das comissões vai ser adotado novamente. O objetivo para essa alteração é o de tornar mais eficiente o processo, sendo que esse formato será aplicado quando estiverem tramitando simultaneamente três ou mais requerimentos de renovação de reconhecimento de uma mesma instituição.
  • 4
  • 5
    A atribuição de conceitos numa escala de cinco níveis, aplicados a cada uma das dimensões e são conjunto das dimensões avaliadas foi definida no parágrafo 3º do artigo 3º da Lei 10.861/2004.
  • 6
    Consulta feita ao site
    emec.mec.gov.br em 02 de junho de 2010.
  • 7
    Dados extraídos de Nunes et al (2009).
  • 8
    Em 2010, análise da Comissão Técnica de Acompanhamento e Avaliação (CTAA), registrada em ata da sua 37ª reunião, anulou o parecer da comissão de avaliação externa da Unicsul, determinando a realização de nova avaliação. Consulta ao site
    emec.mec.gov.br, em 15 de dezembro de 2010, revelou que o Conceito Institucional da Unicsul foi redefinido para 4, estando a publicação deste artigo já aprovada.
  • 9
    Instituições privadas de ensino superior.
  • 10
    Dados colhidos no Banco de Docentes do Censo da Educação Superior de 2008, fornecido pelo INEP em 24/02/2010.
  • Datas de Publicação

    • Publicação nesta coleção
      04 Mar 2011
    • Data do Fascículo
      Mar 2011

    Histórico

    • Recebido
      Jun 2010
    • Aceito
      Out 2010
    Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
    E-mail: revistaavaliacao@uniso.br