Acessibilidade / Reportar erro

Avaliação externa, autoavaliação e o PDI

External evaluation, self-evaluation and PDI

Resumo:

Este artigo tem como objetivos discutir o significado da institucionalização do instrumento de avaliação institucional externa do Sinaes e analisar, na perspectiva do instrumento em vigor, os efeitos produzidos para avaliação pelos indicadores de qualidade criados em 2008. No primeiro caso, discute a importância atribuída nesse instrumento ao Plano de Desenvolvimento Institucional e à autoavaliação. No segundo caso, compara o Conceito Institucional, referência de qualidade da avaliação institucional, e o Índice Geral de Cursos, referência de qualidade extraída a partir do Exame Nacional de Desempenho dos Estudantes, como medidas para avaliar a implementação daquele plano. A comparação se baseia em resultados das avaliações de 116 instituições de educação superior, cujos cursos obtiveram CPC satisfatório nos três ciclos avaliativos do Sinaes, mostrando semelhanças e diferenças encontradas nesses resultados. As conclusões indicam que a divulgação desarticulada do IGC e do conceito institucional, é expressão da reduzida relevância atribuída ao PDI no processo avaliativo e na gestão das instituições, sugerindo que o aprimoramento do Sinaes demanda imprimir tratamento mais orgânico aos três componentes deste sistema, e mudanças na forma de divulgação.

Palavras-chave:
Avaliação da educação superior; Sinaes; Autoavaliação; Plano de Desenvolvimento Institucional

Abstract:

This article has the purpose to discuss the meaning of the Sinaes external institutional evaluation instrument, and to analyze, from the view of the actual tool, the evaluation’s effects produced by the quality indicators created in 2008. First, it discusses the relevance assigned on that instrument to Institutional Development Plan and to self-evaluation. Second, it compares the Institutional Concept, institutional quality, and the General Courses Indicator, a reference of quality extracted from the National Survey of Student Performance, as procedures for evaluate that plan. The comparison is based on the evaluation’s results of 116 higher education institutions, whose courses obtained satisfactory CPC in three Sinaes’ evaluations cycles, showing its similitudes and differences. The conclusions indicated that the disconnected publicizing of IGC and of the institutional concept expresses the little relevance attributed to IDP in the evaluative process and even in the institutions management. It suggests that Sinaes improvement demands a more organic treatment of the system’s components, and introducing of changes in its publicizing way.

Key words:
Higher education evaluation; Sinaes; Self-evaluation; Institutional Development Plan

Introdução

A avaliação institucional promovida pelo Estado tem origem na década de 1990 no Brasil, a partir do Programa de Avaliação Institucional das Universidades Brasileiras (Paiub), que teve por base envolver as instituições universitárias por meio de adesão voluntária, com fortalecimento da sua autonomia. O Paiub estruturava-se como processo de avaliação do ensino, pesquisa, extensão e gestão das instituições (princípio da globalidade) e o respeito à identidade institucional (história, missão, objetivos, perfil, expectativas da comunidade acadêmica). Fundamentava-se na avaliação qualitativa, com ênfase na autoavaliação e tinha por objetivo construir um processo de avaliação coletivo, flexível, transparente, consistente e, principalmente, confiável.

A importância da avaliação institucional e a compreensão desta como um processo global, orgânico, sistêmico e contínuo teve reconhecimento na política pública para a educação superior implantada no país na primeira década do século XXI. Nesse contexto, aautoavaliação vai subsidiar os debates que conduziriam à criação de um sistema nacional de avaliação da educação superior.

O projeto de pesquisa interinstitucional “Avaliação, Expansão e Qualidade da Educação Superior no Século XXI: uma análise sobre o conceito de qualidade nos cursos de graduação durante o período pós-Sinaes - 2004/20121 1 Este projeto integra o projeto OBEDUC/CAPES "Políticas da Expansão da Educação Superior", da Rede Universitas/Br e conta, também, com recursos do CNPq. ”, reúne pesquisadores que discutem questões relacionadas ao processo de avaliação institucional e de cursos. De modo especial, este projeto busca compreender, à luz dos resultados das avaliações desenvolvidas nas instituições de educação superior (IES) brasileiras, a qualidade da educação superior que pode ser depreendida desse processo, a partir da criação do indicador de qualidade Conceito Preliminar de Curso (CPC)2 2 O CPC é constituído de oito componentes, agrupados em três dimensões, que se destinam a avaliar a qualidade dos cursos de graduação: a) desempenho dos estudantes, b) corpo docente, e c) condições oferecidas para o desenvolvimento do processo formativo. . Para tanto, analisa as características dos cursos que obtiveram as notas mais elevadas (4 e 5) neste indicador e amplia, também, o olhar sobre a instituição e o Conceito Institucional (CI)3 3 A cada ciclo avaliativo a instituição é avaliada in loco. Os avaliadores, orientados pelos IGC das instituições de cada ano, atribuem também um Conceito Institucional (CI), considerando também os elementos da visita. A Avaliação Institucional é composta pela autoavaliação ou avaliação interna (coordenada pela Comissão Própria de Avaliação de cada instituição), e pela avaliação externa realizada pelas comissões designadas pelo INEP. , considerados como informações que podem ter reflexos sobre a situação dos cursos pesquisados.

Este artigo tem dois objetivos que se articulam. O primeiro deles é o de discutir o significado da institucionalização do instrumento de avaliação institucional externa implantado em 2014BRASIL. Portaria n. 92 de 31 de janeiro de 2014. Aprova em extrato os indicadores do Instrumento de Avaliação Institucional Externa para os atos de credenciamento, recredenciamento e transformação de organização acadêmica, modalidade presencial, do Sistema Nacional de Avaliação da Educação Superior - Sinaes. Diário Oficial da União, Brasília, 4 fev., n. 2, Seção 1, p. 6-8, 2014a., e a relevância que nele é atribuída ao Plano de Desenvolvimento Institucional (PDI) e à autoavaliação, para a avaliação da qualidade das instituições de educação superior (IES). Em segundo lugar, visa analisar os efeitos da criação, em 2008, dos indicadores de qualidade para a avaliação institucional, na perspectiva desse novo instrumento. Para tanto, apresenta uma análise comparada entre o Conceito Institucional, referência de qualidade da avaliação institucional, e o Índice Geral de Cursos da Instituição de Educação Superior (IGC)4 4 Esta é a denominação do indicador conforme a portaria de criação. Para diversos efeitos, entre eles de divulgação, essa denominação foi resumida para Índice Geral de Cursos, a qual será adotada doravante neste artigo. , referência de qualidade extraída a partir do Exame Nacional dos Desempenho do Estudantes (Enade), entendidos, ambos, como medidas para avaliar a implementação do PDI.

O artigo está organizado em quatro partes. Na primeira, são apresentadas as referências à avaliação da educação superior encontradas na legislação educacional, com foco na Lei de Diretrizes e Bases (LDB) e nos dois Planos Nacionais de Educação (PNE), como indicativos da necessidade de criação de um sistema nacional e da formulação de propostas para sua consolidação. Na segunda parte é abordada a avaliação institucional e os elementos estruturantes que compõem o Sistema Nacional de Avaliação da Educação Superior (Sinaes), em especial o processo de autoavaliação e o Relato Institucional (RI) recentemente criado, com a finalidade de se constituir num espaço para as IES expressarem as ações realizadas em decorrência dos processos de avaliação interna e externa. Para tanto, são apresentadas razões que levaram ao investimento em um sistema nacional de avaliação, ressaltando o marco legal da instituição do Sinaes e seus respectivos instrumentos e estratégias de implementação, com ênfase nas metas12 e 13 do PNE 2014-2024.

Enfatizando o processo de avaliação institucional apresenta-se, a seguir, o instrumento institucional do Sinaes instituído em 2014, e o papel desempenhado pelo PDI no processo avaliativo. Nesse sentido, são explicitadas as proposições envolvidas na construção deste instrumento para estabelecer maior articulação entre as dimensões institucionais avaliadas, com o objetivo de compreender o planejamento, a gestão e a efetividade das ações, propondo, ainda, uma aproximação com a autoavaliação.

Na perspectiva de entender a relação entre os procedimentos previstos no Sinaes e os indicadores de qualidade da educação superior utilizados para subsidiar os atos autorizativos da regulação, realiza-se, a seguir, uma análise comparada entre o IGC5 5 O IGC é um indicador criado por meio da Portaria Normativa nº 12 de 5 de setembro de 2008, que busca expressar a qualidade de todos os cursos de graduação, mestrado e doutorado de uma instituição de educação superior. Este indicador depende fortemente da média do Conceito Preliminar de Cursose, em menor grau, da média dos conceitos dos programas de pós-graduação de cada IES. e o CI. Para tanto, é feito um estudo empírico a partir dos resultados das avaliações de116 IES que foram selecionadas pela pesquisa, cujos cursos de Administração, Enfermagem, Engenharia Civil e Pedagogia obtiveram CPC satisfatório nos três ciclos avaliativos do Sinaes6 6 O ciclo avaliativo compreende a realização periódica de avaliação de instituições e cursos superiores, com referência nas avaliações trienais de desempenho de estudantes, as quais subsidiam, respectivamente, os atos de recredenciamento e de renovação de reconhecimento. . Pretende-se, com isso, demonstrar o estágio atual do desenvolvimento do PDI dessas instituições, relacionando a prática desse plano, que é o objeto da avaliação institucional externa, como resultado dessa avaliação produzida pelos indicadores. Na última parte, são apresentadas as considerações finais.

A legislação e a criação do sistema nacional de avaliação da educação superior

A criação de um sistema nacional de avaliação teve papel central no cenário de expansão da educação superior brasileira, que se deu de forma mais acentuada a partir da segunda metade da década de 1990. Na Lei nº 9.394 de 1996, que instituiu as diretrizes e bases da educação nacional, são encontradas diversas referências ao tema da avaliação. No inciso IX do artigo 3º, ao abordar os princípios e fins da educação nacional a lei menciona a garantia de padrão de qualidade. Mais adiante, quando relaciona as competências da União, afirma, no inciso VIII do artigo 9º, caber a esta instância assegurar processo nacional de avaliação das instituições de educação superior, em cooperação com os sistemas que tiverem responsabilidade sobre este nível de ensino, “objetivando a definição de prioridades e a melhoria da qualidade do ensino”. No inciso IX do mesmo artigo, é estabelecido que cabe à União autorizar, reconhecer, credenciar, supervisionar e avaliar os cursos das instituições de educação superior e os estabelecimentos do seu sistema de ensino. Por fim, no artigo 46 do capítulo da educação superior, a LDB define que a autorização e o reconhecimento de cursos, bem como o credenciamento de instituições de educação superior têm prazos limitados, renovados periodicamente, após processo regular de avaliação.

Em outros instrumentos legais a ênfase na avaliação também se faz presente. Quando o Plano Nacional de Educação 2001-2010 foi instituído pela Lei nº 10.172 de 2001, o papel da avaliação foi destacado em relação à melhoria da qualidade da educação superior. No seu artigo 4º foi ressaltado que “A União instituirá o Sistema Nacional de Avaliação e estabelecerá os mecanismos necessários ao acompanhamento das metas constantes do Plano Nacional de Educação” (BRASIL, 2001BRASIL. Lei nº 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação. Diário Oficial da União, Brasília, 10 jan., Seção I, p. 1, 2001.).

Entre as diretrizes para a educação superior nesse PNE foi ressaltado que:

Para o cumprimento do dever do Estado de garantir acesso aos níveis mais elevados do ensino, da pesquisa e da criação artística segundo a capacidade de cada um, destacou-se a necessidade de planejar a expansão com qualidade, inclusive no período noturno. [...] Para a melhoria da qualidade do ensino oferecido, [o Plano] enfatizava a importância da institucionalização de um amplo sistema de avaliação (PEIXOTO, 2012PEIXOTO, M. C. L. Plano Nacional de Educação 2011-2020: desafios para a educação superior. In: CUNHA, C.; SOUSA, J. V.; SILVA, M.A. (Orgs.). Universidade e educação básica: políticas e articulações possíveis. Brasília: Faculdade de Educação/Universidade de Brasília; Liber Livro, 2012. p. 48-67. p. 69).

Posteriormente, o PNE 2014-2024, instituído pela Lei nº 13.005 de 25 de junho de 2014, fixou um conjunto de metas para a melhoria da qualidade da educação superior, relacionando, entre as suas estratégias, a necessidade de aperfeiçoamento do Sinaes. Na meta 12, o plano propõe a elevação das taxas bruta e líquida de matrícula, assegurada a qualidade da oferta, sendo 40% das novas matrículas ofertadas no setor público. Na estratégia 12.19 o plano ressalta que a reestruturação dos procedimentos de avaliação, regulação e supervisão deve se dar com ênfase na melhoria dos prazos e da qualidade da decisão, ou seja, a reestruturação deve se dar por meio da busca de maior eficiência do sistema de avaliação e regulação. Na meta 13, o PNE propõe elevar a qualidade da educação superior, e ampliar a proporção de mestres e de doutores do corpo docente do sistema para setenta e cinco por cento, sendo, do total, no mínimo, trinta e cinco por cento doutores. Uma das estratégias para o alcance desta meta, a 13.1, impõe a necessidade de aperfeiçoar o sistema de educação superior, fortalecendo as ações de avaliação, regulação e supervisão. Essas formulações legais justificam e dão sustentação à construção e consolidação de um sistema nacional de avaliação.

O Sistema Nacional de Avaliação da Educação Superior

A Comissão Especial de Avaliação (CEA), designada pelas Portarias MEC/SESu nº 11, de 28 de abril de 2003, e nº 19, de 27 de maio de 2003 (BRASIL, 2003BRASIL. MINISTÉRIO DA EDUCAÇÃO (MEC). Comissão Especial de Avaliação (CEA). Sistema Nacional de Avaliação da Educação Superior (Sinaes): bases para uma proposta da educação superior. Brasília: Editora do MEC, 2003.), promoveu um amplo debate nacional sobre a avaliação da educação superior e a proposta de constituição de um sistema nacional de avaliação, com o objetivo de subsidiar a elaboração de seu relatório. Em 2004, terceiro ano de vigência do PNE 2001-2010, foi criado o Sistema Nacional de Avaliação da Educação Superior (Sinaes), por meio da Lei n°10.861, de 14 de abril.

O Sinaes foi proposto como um sistema formado por três componentes distintos: avaliação institucional, avaliação dos cursos e avaliação dos estudantes, esta última feita por meio do Enade. A avaliação institucional é integrada por dois momentos: a) autoavaliação, coordenada pela Comissão Própria de Avaliação (CPA) de cada instituição e orientada pelas diretrizes e o roteiro de autoavaliação institucional elaborados pela Comissão Nacional de Avaliação da Educação Superior (Conaes); e b) avaliação externa, realizada por comissões designadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Este segundo processo de avaliação é orientado numa perspectiva multidimensional, que busca integrar o caráter formativo da avaliação e a regulação, com foco na globalidade. Além dos relatórios de autoavaliação produzidos pelas instituições, a avaliação institucional externa tem como referência os padrões de qualidade para a educação superior, expressos nos instrumentos de avaliação.

Segundo está definido no parágrafo 1º da Lei nº 10.861/2004, a avaliação institucional deve contribuir para (i) a melhoria da qualidade da educação superior; (ii) a orientação da expansão de sua oferta; (iii) o aumento permanente da sua eficácia institucional e efetividade acadêmica e social; (iv) o aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional (BRASIL, 2004BRASIL. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - Sinaes e dá outras providências. Diário Oficial da União, Brasília, n. 72, 15 abr., Seção I, p. 3-4, 2004.). Na lei também é ressaltada a importância de se reconhecer o mérito dos programas e projetos institucionais.

No artigo 2º a lei estabelece que, ao promover a avaliação de instituições, de cursos e do desempenho dos estudantes, o Sinaes deve assegurar:

I - avaliação institucional, interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos; II - o caráter público de todos os procedimentos, dados e resultados dos processos avaliativos; III- o respeito à identidade e à diversidade de instituições e de cursos; IV - a participação do corpo discente, docente e técnico-administrativo das instituições de educação superior, e da sociedade civil, por meio de suas representações (BRASIL, 2004).

Desse modo, criação do Sinaes se configurou como uma oportunidade para a implementação de uma política com capacidade para reestruturar a missão pública do sistema de educação superior brasileiro, respeitando sua diversidade e tornando-o compatível com as exigências de qualidade, relevância social e autonomia. Nesses termos, e fundada no princípio de que a educação é um direito e um bem público, a avaliação da educação superior busca orientar sua missão para formar cidadãos profissional e cientificamente comprometidos com um projeto social para o país.

Comentando as metas previstas para o PNE 2014-2024, Sousa (2012SOUSA, J. V. Avaliação e regulação na educação superior brasileira: concepção, natureza e finalidades. In: CUNHA, C.; SOUSA, J. V.; SILVA, M.A. (Orgs.). Universidade e educação básica: políticas e articulações possíveis. Brasília: Faculdade de Educação/Universidade de Brasília; Liber Livro , 2012. p. 147-170.) argumenta que as questões que ali se encontram em relação à elevação da qualidade da educação superior, demandavam uma gestão institucional que ampliasse a participação da comunidade acadêmica, de modo a promover a atualização contínua do projeto de desenvolvimento institucional e do projeto pedagógico dos cursos, para melhor qualidade do ensino e da aprendizagem. O autor observa que

Essa diretriz requer um movimento da política educacional de maior investimento na formação do ser humano, em contraposição aos fins do mercado; de igualdade no tratamento do público e do privado com a finalidade de promover o acesso à educação superior com qualidade; de maior profissionalização da gestão acadêmica e institucional das IES e de acompanhamento do perfil dos docentes e discentes que atenda as expectativas atuais e traga significado à educação superior (p. 166).

Assim sendo, deve-se salientar a importância da avaliação institucional para o acompanhamento dos processos de gestão. Entre outros aspectos, a avaliação institucional deve ter a avaliação formativa como pressuposto, porque ela proporciona informações acerca do desenvolvimento do processo de ensino, com a finalidade de reorientar a prática pedagógica dos educadores e, quanto ao desenvolvimento das ações institucionais, reorientar políticas acadêmicas em andamento. Como um processo permanente, sua principal função é subsidiar mudanças e práticas inovadoras no sentido de diagnosticar, apoiar e corrigir os aspectos avaliados.

PDI e o instrumento de avaliação institucional externa

Quando compreendida como processo relevante para o acompanhamento do cumprimento da missão institucional, a avaliação pode se constituir no próprio fundamento da existência da instituição. Por esse motivo, os processos avaliativos devem compor um sistema que permita a integração das diversas dimensões da realidade avaliada, assegurando coerência conceitual, epistemológica e prática, bem como o alcance dos objetivos dos diversos instrumentos e modalidades de atuação. De acordo com Griboski (2014GRIBOSKI, C. M. Regular e/ou induzir qualidade? Os cursos de pedagogia nos ciclos avaliativos do Sinaes. 2014. 482 f. Tese (Doutorado em Educação) - Universidade de Brasília, Brasília, 2014.),

a partir da compreensão de avaliação como processo, estabelece-se a articulação entre a missão da IES e seus objetivos, pois esses elementos integrantes do Plano de Desenvolvimento Institucional (PDI) direcionam sua posição social e configuram a sua identidade, elevando seu grau de comprometimento com a qualidade da educação (p. 44).

No Glossário do Instrumento de Avaliação Institucional Externa, homologado pelo MEC em janeiro de 2014 e fundamentado no Decreto nº 5.773 de 2006, o PDI é entendido como componente central para o acompanhamento da proposta institucional, tendo sido definido como instrumento de planejamento e gestão. Nessa perspectiva, a avaliação deve considerar

a identidade da IES no âmbito da sua filosofia de trabalho, da missão a que se propõe, das estratégias para atingir suas metas e objetivos, da sua estrutura organizacional, do Projeto Pedagógico Institucional, com as diretrizes pedagógicas que orientam suas ações e as atividades acadêmicas e científicas que desenvolve e visa desenvolver. Abrangendo um período de cinco anos, deverá contemplar ainda: o cronograma e a metodologia de implementação dos objetivos, metas e ações da IES, observando a coerência e a articulação entre as diversas ações; a manutenção de padrões de qualidade; o perfil do corpo docente; a oferta de cursos de graduação, pós-graduação, presenciais e/ou a distância; a descrição da infraestrutura física e instalações acadêmicas, com ênfase na biblioteca e laboratórios, e o demonstrativo de capacidade e sustentabilidade financeiras (INEP, 2014dINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Instrumento de avaliação institucional externa. Subsidia os atos de credenciamento, recredenciamento e transformação da organização acadêmica presencial. Brasília, agosto de 2014d. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2014/instrumento_institucional.pdf >. Acesso em: 3 out. 2015.
http://download.inep.gov.br/educacao_sup...
).

Em consonância como artigo 3º da Lei 10.861 de 2004, as diretrizes aprovadas pela Conaes para a avaliação institucional interna e externa consideravam dez dimensões da atuação da IES, a saber:

Art. 3º. A avaliação das instituições de educação superior terá por objetivo identificar o seu perfil e o significado de sua atuação, por meio de suas atividades, cursos, programas, projetos e setores, considerando as diferentes dimensões institucionais, dentre elas obrigatoriamente as seguintes: I - a missão e o plano de desenvolvimento institucional; II - a política para o ensino, a pesquisa, a pós-graduação, a extensão e as respectivas formas de operacionalização, incluídos os procedimentos para estímulo à produção acadêmica, as bolsas de pesquisa, de monitoria e demais modalidades; III - a responsabilidade social da instituição, considerada especialmente no que se refere à sua contribuição em relação à inclusão social, ao desenvolvimento econômico e social, à defesa do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural; IV - a comunicação com a sociedade; V - as políticas de pessoal, as carreiras do corpo docente e do corpo técnico-administrativo, seu aperfeiçoamento, desenvolvimento profissional e suas condições de trabalho; VI - organização e gestão da instituição, especialmente o funcionamento e representatividade dos colegiados, sua independência e autonomia na relação com a mantenedora, e a participação dos segmentos da comunidade universitária nos processos decisórios; VII - infraestrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos de informação e comunicação; VIII - planejamento e avaliação, especialmente os processos, resultados e eficácia da autoavaliação institucional; IX - políticas de atendimento aos estudantes; X - sustentabilidade financeira, tendo em vista o significado social da continuidade dos compromissos na oferta da educação superior (BRASIL, 2004).

O primeiro instrumento de avaliação institucional foi instituído pelo INEP, por meio da Portaria nº 4, de 13 de janeiro de 2005. No seu Art. 3° foi definido que:

Este instrumento possibilitará a Comissão de Avaliação designada pela Deaes/INEP avaliar in loco a Organização Institucional, o Corpo Social e a Infraestrutura Física e Logística da IES de forma integrada, global e multidimensional, considerando os princípios e diretrizes estabelecidas pelo Sinaes (BRASIL, 2005BRASIL. Portaria nº 4, de 13 de janeiro de 2005. Implanta o Instrumento de Avaliação Institucional Externa para fins de credenciamento e recredenciamento de universidades. Diário Oficial da União, Brasília, nº 10 de 14/01/2005, Seção 1. p. 24, 2005.).

Até o ano de 2013 vigorou um instrumento de avaliação institucional, contemplando a organização dessas dez dimensões, com indicadores que deveriam ser avaliados7 7 Segundo a Portaria nº 4, de 13 de janeiro de 2005 que criou o primeiro instrumento de avaliação sua estrutura está configurada pelos seguintes elementos constitutivos :I - Dimensões são agrupamentos de grandes traços ou características referentes aos aspectos institucionais sobre os quais se emite juízo de valor e que, em seu conjunto, expressam a totalidade da instituição. II - Categorias são subdivisões ou aspectos específicos que compõem uma dimensão e que, em conjunto, expressam a situação em que se encontra a instituição com relação a cada dimensão. III - Grupo de indicadores é o conjunto de medidas e/ou evidências usadas para caracterizar o estado da categoria. IV - Indicadores são evidências concretas (quantitativas ou qualitativas) relativas a cada um dos grupos de indicadores, que de uma forma simples ou complexa caracterizam a realidade dos múltiplos aspectos institucionais que retratam. V - Critérios são atributos ou qualidade dos indicadores que permitem avaliar uma categoria (Art. 2º). . Em 2014, foi criada uma Comissão para a Revisão dos Instrumentos de Avaliação Institucional, nomeada pela Portaria Ministerial n° 224 de 28 de junho de 2012 (INEP, 2012INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Portaria Ministerial n. 224, de 28 de junho de 2012, designa os seguintes docentes para composição da Comissão de Revisão dos Instrumentos de Avaliação Institucional, presencial e EAD, e de Polo de apoio presencial na Modalidade a Distância, no âmbito do Sistema Nacional de Avaliação de Educação Superior - Sinaes. Brasília: INEP, 2012.), composta por representantes de IES públicas e privadas; da Diretoria de Avaliação da Educação Superior (DAES) do INEP; da Secretaria de Regulação e Supervisão da Educação Superior (Seres) do MEC; da Conaes e do Conselho Nacional de Educação (CNE)8 8 Foram membros integrantes dessa comissão: Ana Maria Ferreira de Mattos Rettl - Universidade Bandeirante de São Paulo e Universidade Federal de Santa Catarina; Claudia Maffini Griboski - Diretoria de Avaliação da Educação Superior do INEP/MEC; Cleunice Matos Rehem - Secretaria de Regulação e Supervisão da Educação Superior do MEC; Gilberto Gonçalves Garcia - Conselho Nacional de Educação; Luiz Paulo Mendonça Brandão - Instituto Militar de Engenharia; Mario César Barreto Moraes - Universidade Estadual de Santa Catarina; Marlis Morosini Polidori - Centro Universitário Metodista; Míriam Stassun dos Santos - Centro Federal de Educação Tecnológica de Minas Gerais; Marion Creutzberg - Pontifícia Universidade Católica do Rio Grande do Sul; Rafael Arruda Furtado - Secretaria de Regulação e Supervisão da Educação Superior do MEC; Sérgio Fiúza de Mello Mendes - Centro Universitário do Estado do Pará; Sergio Donizetti Zorzo - Universidade Federal de São Carlos; Robert Evan Verhine - Comissão Nacional de Avaliação da Educação Superior; Suzana SchwerzFunghetto - Diretoria de Avaliação da Educação Superior do INEP/MEC. .

Como resultado do seu trabalho, a comissão propôs a organização de um novo instrumento, com estrutura matricial e cinco eixos: Planejamento e Avaliação Institucional, Desenvolvimento Institucional, Políticas Acadêmicas, Políticas de Gestão e Infraestrutura Física. Nesses eixos, elucidados por um conjunto de notas técnicas do INEP, estão contempladas as dez dimensões referenciadas no artigo 3º do marco legal do Sinaes.

Eixo 1 - Planejamento e Avaliação Institucional: considera a dimensão 8 do Sinaes (Planejamento e Avaliação). Inclui também um Relato Institucional, que descreve e evidencia os principais elementos do seu processo avaliativo (interno e externo) em relação ao Plano de Desenvolvimento Institucional (PDI), incluindo os relatórios emanados pela Comissão Própria de Avaliação (CPA), do período que constituiu o objeto de avaliação. Eixo 2 - Desenvolvimento Institucional: contempla as dimensões 1 (Missão e o Plano de Desenvolvimento Institucional) e 3 (Responsabilidade Social da Instituição) do Sinaes. Eixo 3- Políticas Acadêmicas: abrange as dimensões 2 (Políticas para o Ensino, Pesquisa e Extensão), 4 (Comunicação com a Sociedade) e 9 (Políticas de Atendimento aos Discentes) do Sinaes. Eixo 4 - Políticas de Gestão: compreende as dimensões 5 (Políticas de Pessoal), 6 (Organização e Gestão da Instituição) e 10 (Sustentabilidade Financeira) do Sinaes. Eixo 5 - Infraestrutura Física: contempla a dimensão 7 (Infraestrutura Física) do Sinaes.

De acordo com a Nota Técnica nº 14 de 07 de fevereiro de 2014 - CGACGIES/DAES/INEP/MEC, o agrupamento das dimensões em eixos teve por objetivo facilitar o diálogo entre as atividades que devem ser articuladas no momento da avaliação. No eixo relativo ao Planejamento e Avaliação Institucional, por exemplo, o instrumento de avaliação institucional enfatiza as atividades acadêmico-administrativas decorrentes do processo de autoavaliação associadas à avaliação externa. As ações oriundas desses dois processos são, então, relacionadas com a implementação, atualização ou reformulação do PDI, e devem estar expressas no Relato Institucional.

Quanto a esse relato, seu conteúdo assim foi definido:

[O Relato Institucional] deverá conter um relato avaliativo do PDI e, especialmente, uma síntese histórica dos processos de avaliação interna e externa da IES e de seu planejamento, bem como as ações acadêmico-administrativas decorrentes dos resultados das avaliações, conforme o inciso VIII, do artigo 3º, da Lei n° 10.861, de 14 de abril de 2004 (INEP, 2014cINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica nº 14 /2014 - CGACGIES/DAES/INEP/MEC. Brasília, 2014c. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/nota_tecnica/2014/nota_tecnica_n14_2014.pdf . Acesso em: 3 out. 2015.
http://download.inep.gov.br/educacao_sup...
).

Assim sendo, o trabalho da CPA adquire relevância no desenvolvimento dos processos de avaliação interna. As análises realizadas por essa comissão passam a compor o Relato Institucional, documento este que deve constar obrigatoriamente em todos os processos de avaliação institucional externa. Na Nota Técnica DAES/INEP/CONAES nº 62 de 2014INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica DAES/INEP nº 58/2015 de 27 de outubro de 2015. Cálculo do conceito preliminar de curso. Brasília, 2015. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2014/nota_tecnica_daes_n582015_calculo_do_cpc2014.pdf >. Acesso em: 13 jun. 2016.
http://download.inep.gov.br/educacao_sup...
está registrada a compreensão sobre o objetivo desse relato.

Para ampliar e fortalecer a relação entre os processos de avaliação e os processos de gestão, bem como o autoconhecimento das IES e o consequente aprimoramento das atividades de ensino, pesquisa e extensão, o novo instrumento de avaliação institucional propõe o Relato Institucional como uma inovação que objetiva integrar as ações de avaliação interna e de avaliação externa à gestão das IES (INEP, 2014bINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica INEP/DAES/Conaes nº 62 de 09 outubro de 2014. Definição da estrutura do Relato Institucional. Brasília, 2014b. Disponível em: <Disponível em: http://portal.inep.gov.br/superior-avaliacao_institucional/nota-tecnica >. Acesso em:13 jun. 2016.
http://portal.inep.gov.br/superior-avali...
).

Em outra nota técnica, a INEP/DAES/CONAES nº 65 de 2014, é descrito o roteiro a ser seguido pelas IES para construção do Relatório de Autoavaliação Institucional9 9 A Orientação para o Roteiro de Autoavaliação institucional é fruto dos debates realizados nos Seminários Nacionais de CPA, promovidos pela DAES/INEP. A aprovação da Nota Técnica conjunta INEP/DAES/Conaes nº 65/2014 está registrada na Ata da 112ª RO Conaes de 09 de dezembro de 2014. . Nela é ressaltada a importância de haver harmonia entre o processo de autoavaliação e o PDI.

A autoavaliação, em consonância com o Plano de Desenvolvimento Institucional (PDI) da IES, deve ser vista como um processo de autoconhecimento conduzido pela Comissão Própria de Avaliação (CPA), mas que envolve todos os atores que atuam na instituição, a fim de analisar as atividades acadêmicas desenvolvidas. É um processo de indução de qualidade da instituição, que deve aproveitar os resultados das avaliações externas e as informações coletadas e organizadas a partir do PDI, transformando-os em conhecimento e possibilitando sua apropriação pelos atores envolvidos. Afinal, as ações de melhoria a serem implementadas pela instituição dependem de sua própria compreensão, de seu autoconhecimento (INEP, 2014aINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica INEP/DAES/Conaes nº 65, de 9 de outubro de 2014. Roteiro do Relatório de Autoavaliação Institucional. Brasília, 2014a. Disponível em: <Disponível em: http://portal.inep.gov.br/superior-avaliacao_institucional/nota-tecnica >. Acesso em: 13 jun. 2016.
http://portal.inep.gov.br/superior-avali...
).

Com o advento do PNE 2014-2024, o destaque que nele foi dado para o processo de autoavaliação na meta 13 fortalece os propósitos do Sinaes:

13.3) induzir processo contínuo de autoavaliação das instituições de educação superior, fortalecendo a participação das comissões próprias de avaliação, bem como a aplicação de instrumentos de avaliação que orientem as dimensões a serem fortalecidas, destacando-se a qualificação e a dedicação do corpo docente (BRASIL, 2014bBRASIL. Lei nº 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação - PNE e dá outras providências. Diário Oficial da União, Brasília, 26 jun., Seção I, p. 1, edição extra, 2014b.).

Como se observa, a autoavaliação se torna, portanto, elemento fundamental para orientar as estruturas de gestão das instituições de educação superior, como atividade intrínseca ao processo de planejamento, e realizada de forma contínua, geral e específica, buscando integrar as ações acadêmicas e administrativas da IES. Nessa perspectiva, quando da análise dos relatórios de autoavaliação institucional, as comissões externas devem verificar se a instituição de educação superior tem concentrado esforços para: (i) elaborar críticas às suas ações e aos resultados obtidos; (ii) conhecer e registrar as limitações e possibilidades do que foi avaliado; (iii) realizar um processo democrático, envolvendo a participação da comunidade acadêmica, em relação aos aspectos a serem avaliados; (iv) realizar um processo transparente e ético, no que se refere à utilização e divulgação dos seus resultados.

A partir dessa compreensão do processo de avaliação institucional, verifica-se que, para compreender o conceito de qualidade institucional, resultante dos processos de avaliação externa, é preciso analisar como esse conceito está expresso no PDI. Tendo em vista, no entanto, que habitualmente as IES apresentam a missão e os objetivos institucionais de maneira bastante geral e abrangente nos textos desses documentos, essa identificação não pode ser feita apenas por meio da análise do conteúdo do texto desse plano. Para depreender a qualidade institucional é preciso realizar essa análise em conjunto com outros documentos, como o Projeto Pedagógico Institucional, o Relato Institucional, e os relatórios de autoavaliação da CPA10 10 Ressalve-se, que a exigência do Relato Institucional foi determinada somente para aquelas IES que protocolaram o pedido de recredenciamento institucional após a publicação do novo instrumento de avaliação institucional externa. .

Índice Geral de Cursos e Conceito Institucional: análise comparada

Conforme já foi mencionado, para a realização do projeto interinstitucional “Avaliação, Expansão e Qualidade da Educação Superior no Século XXI: uma análise sobre o conceito de qualidade nos cursos de graduação durante o período pós-Sinaes - 2004/2012”, foram selecionadas 116 instituições cujos cursos de Administração, Enfermagem, Engenharia Civil e Pedagogia obtiveram CPC 4 e/ou 5 nos três ciclos avaliativos a que foram submetidos desde 2004. Para a seleção desses cursos, tomou-se como critério o fato de que, no processo recente de expansão da educação superior brasileira foram esses os cursos que mais cresceram em número de matriculas no período entre 2004 a 2012.

A partir da sua criação em 2008, os indicadores CPC e IGC adquiriram grande visibilidade na mídia nacional, em especial o segundo deles, que passou a ser utilizado como indicador da qualidade das e pelas instituições de educação superior. O formato globalizante e anual instituído para a divulgação dos resultados do IGC, com exigência de registro no Diário Oficial da União, favoreceu a comparação entre as IES, a qual foi utilizada de forma extensiva não só pela mídia como, também, pelas próprias instituições. Acresce a isso o fato de que, desse modo, o indicador assumiu primazia na função regulatória do Estado.

Em contrapartida, a divulgação dos resultados da autoavaliação e das avaliações institucionais do Sinaes, responsáveis pela atribuição do CI, é feita de forma gradativa, segundo a realização das visitas das comissões de avaliação externa. Outra diferença relevante entre esses dois índices reside no fato de que a divulgação dos resultados das visitas é inserida em um cadastro público, o e-MECBRASIL.MINISTÉRIO DA EDUCAÇÃO (MEC). Cadastro e-MEC. Disponível em: <Disponível em: http://emec.mec.gov.br/ >. Acesso em: 13 jun. 2016.
http://emec.mec.gov.br/...
, acessado prioritariamente pelas IES com a finalidade de monitorar seus atos autorizativos. Em consequência, a divulgação do CI tem repercussão de ordem mais restrita em comparação com o IGC, o que contribui para enfraquecer o papel das visitas de avaliação externa e para priorizar o Enade como principal instrumento do processo avaliativo.

A articulação entre o IGC e o CI, no entanto, está explicitada no Parágrafo Único do artigo 33-C da Portaria Normativa nº 40 de 2010: “As Comissões de Avaliação utilizarão o CPC e o IGC como referenciais orientadores das avaliações in loco de cursos e instituições, juntamente com os instrumentos referidos no art. 17-J e demais elementos do processo” (BRASIL, 2010).

Desse modo, enquanto o IGC é uma medida de desempenho dos cursos de uma instituição, porque contempla a média dos resultados que obtiveram a partir do Enade, o CI é um conceito que resulta da avaliação do desenvolvimento do Plano de Desenvolvimento Institucional, com base nas dimensões do Sinaes. O primeiro se constitui, assim, em subsídio para o segundo, sendo, portanto, complementares. Ambos os resultados aportam informações relevantes para melhoria do PDI das IES, devendo ser excluídos, portanto, quaisquer usos de caráter substitutivo ou de preponderância de um sobre outro.

Na análise comparativa dos resultados do IGC e do CI das 116 IES a ser feita a seguir busca-se conjugar os dois índices, visando traçar um panorama sobre o desenvolvimento do PDI dessas instituições. Serão analisados os resultados das visitas de avaliação externa e a prática do PDI sob a ótica do Sinaes, com base nos conceitos obtidos por essas IES no último processo avaliativo para recredenciamento relativo ao período 2010-201411 11 De acordo com o Decreto nº 5773/2006, os atos de credenciamento e recredenciamento, para IES com autonomia, têm prazo de validade de até dez anos. Para IES sem autonomia ele é de cinco anos. . Para efeito da análise, o referencial orientador foi o IGC atribuído às IES em 2014, elaborado a partir da avaliação dos cursos no Enade no triênio 2012-2014.

O gráfico 1 apresenta a distribuição do CI das instituições pesquisadas, atribuídos nas visitas de avaliação realizadas entre os anos de 2010 e 2014.

Gráfico 1
Conceito Institucional - CI, obtido pelas IES nas avaliações do Sinaes (2010-2014)

Os resultados obtidos pelas IES pesquisadas nas visitas de avaliação institucional para fins de recredenciamento apresentados no gráfico, demonstram que, na sua maioria, os conceitos recebidos foram satisfatórios, situados nos níveis de 3 a 5 da escala. Apenas uma IES obteve CI 2, o que indica haver Protocolo de Compromisso (PC) a ser firmado com o MEC com a finalidade de apresentação de melhorias no seu desenvolvimento, as quais devem estar expressas no PDI. Após isso, nova avaliação in loco será realizada, com a atribuição de novo CI satisfatório para fins de recredenciamento, caso as questões anteriormente apontadas tenham sido atendidas pela instituição.

O fato de 31% das IES pesquisadas estarem sem conceito nas avaliações institucionais se explica porque 24 delas são instituições públicas estaduais, reguladas, portanto, pelos Conselhos Estaduais de Educação (CEE), não se enquadrando, por isso, nos mesmos critérios do Sinaes. As demais12 instituições são públicas federais, cujos atos de recredenciamento são válidos por dez anos, e que não receberam avaliação in loco no período de 2010 a 2014. Essa parcela de instituições sem CI, no entanto, tem no IGC a fé pública da sua qualidade. O gráfico 2 mostra a distribuição do IGC das instituições analisadas, que foi atribuído em 2014.

Gráfico 2
Índice Geral de Cursos - IGC, obtido pelas IES em 2014

Como já foi dito, a amostra de instituições da pesquisa foi feita com base nos resultados dos CPC 4 e/ou 5 dos cursos. Assim sendo, e tendo em vista que tanto o CPC quanto o IGC se baseiam nos resultados do Enade 5 dos cursos, não surpreende que as instituições integrantes da amostra apresentassem cursos cujo nível de desempenho no segundo indicador está concentrado em valores situados nos níveis 3 e 4 da escala.

Para efeito da comparação entre os resultados do CI e do IGC, foram excluídas as instituições que ficaram sem conceito na avaliação institucional no período de 2010 a 2014. Desse modo, do total de CI constantes do gráfico 1 serão analisados os resultados de 80 IES e do total de IGC das IES expressos no Gráfico 2, serão 112 instituições analisadas.

O fato de quase 30% dessas IES não terem o CI é um dado cujo registro é importante. Tendo em vista a obrigatoriedade de participação no Enade, o IGC de todas as IES é produzido anualmente, enquanto o processo de avaliação in loco segue as definições regulatórias e é feito de acordo com os prazos de análise definidos pela Seres, o mesmo se dando com o estabelecimento de Protocolo de Compromisso. Esse processo ocorre, portanto, de modo disperso e seguindo instruções normativas diversas. Além disso, como já ressaltado, a divulgação de ambos os índices é feita de forma bastante distinta, o que contribui para produzir desequilíbrio entre as duas referências avaliativas. A demora na análise processual regulatória que leva ao CI e, consequentemente, na realização da avaliação in loco pode, dessa forma, estar beneficiando as IES que apresentam IGC inferior a 3. Isso porque, no caso de obterem resultado insuficiente no CI, essas IES seriam necessariamente submetidas a processo de supervisão ou a medida cautelar, com consequências para a oferta de matrículas, que seria restringida até que a instituição apresentasse evidências de melhoria da qualidade. Assim sendo, ao deixar de serem aplicadas, essas medidas resultam em favorecimento para aquelas IES com desempenho insuficiente no IGC.

Embora as 116 IES pesquisadas sejam bastante heterogêneas quanto à organização acadêmica (faculdades, centros universitários e universidades), isso não interferiu nos resultados encontrados, todos positivos no nível satisfatório entre 3 e 5. Isso indica que os cursos dessas IES têm bom nível de desempenho no Enade, avaliação que é baseada na formação dada aos estudantes em relação às habilidades e competências desenvolvidas nos cursos de graduação. Quanto ao CI dessas IES, os conceitos também são satisfatórios, mantendo-se igualmente nos níveis de 3 a 5 da escala, sugerindo desempenho satisfatório no PDI, tendo sua gestão, planejamento, políticas acadêmicas, infraestrutura e demais dimensões avaliadas no Sinaes contribuído para favorecer a aprendizagem dos estudantes.

Observe-se que os percentuais das IES que se encontram no nível 3nos dois gráficos são muito próximos, correspondendo a 35,0% e 36,6% no CI e no IGC, respectivamente. Esses dados possibilitam afirmar que quase 40% dessas IES têm investido nos cursos apenas o suficiente para se manter no limite satisfatório do IGC, o mesmo podendo ser dito em relação ao desenvolvimento do PDI, avaliado nas visitas das comissões externas. O uso formativo da avaliação exigiria que elas promovessem mudança no PDI capaz de produzir impacto nos cursos e na estrutura institucional, bem como, que investissem nas dimensões que foram apontadas como mais frágeis.

Tirante essa convergência no nível 3 da escala dos dois índices, os resultados dos níveis 4 e 5 se apresentam de forma bastante diferente. Enquanto no CI o nível 4 corresponde a 43,8%, no IGC representa proporção bem maior, de 53,6%. No nível 5 as posições se invertem, correspondendo o CI a 20,0% do total e o IGC a apenas 9,8%. As diferenças entre os dois índices atingem a quase 10 pontos percentuais (9,8 pp) no nível 4, e a pouco mais de dez pontos (10,2 pp) no nível 5.

É possível que a diferença encontrada no nível5seja resultante da forma de cálculo dos dois índices, tendo em vista que a diversidade da organização acadêmica das instituições analisadas não obriga que todas mantenham programas de pós-graduação. Embora no cálculo dos insumos do IGC haja um componente que busca compensar essa diferença, a dúvida se justifica quando se compara a distinção na proporção entre os índices. A confirmação, ou não, desta hipótese, contudo, necessitaria análise que permitisse identificar o valor que a pós-graduação agrega nessas IES, análise esta que escapa ao objetivo do artigo.

A conjugação dos resultados do CI com o IGC mostra que eles são mais acentuados nos níveis 3 e 4 da escala, sugerindo um bom nível de qualidade dessas IES. Por sua vez, a distribuição dos níveis 3 a 5 do CI é mais equilibrada do que ela se mostra no IGC. Ressalte-se que a diferença entre o 4 e o 5 do CI chega a 23,8 pontos percentuais, enquanto no IGC ela é de 43,8 pp, representando quase o dobro. Um estudo do perfil dos avaliadores que fizeram essas visitas poderia, talvez, proporcionar maior compreensão acerca de como eles atuaram no primeiro caso, enquanto a análise do peso dos insumos do Enade poderia contribuir para melhor compreensão do segundo caso.

É interessante observar que são bem distintos os percentuais de CI desse conjunto de IES, em relação ao do total de avaliações que foram realizadas para recredenciamento, entre 2008 e 201412 12 Estudo realizado pelo INEP para meta-avaliação do Sinaes nos Dez Anos de Implementação (2004-2014). Contempla a análise do perfil dos avaliadores do BASis realizado pela consultora contratada, via PNUD, Maria do Carmo de Lacerda Peixoto. . Naquele caso, as notas atribuídas nos CI mostraram predomínio do nível 3 em relação ao 4 e 5, sendo da ordem de 68% no primeiro caso, de24% no segundo e de 3% no terceiro. É claro que se trata de conjuntos bastante diferenciados em termos de universos de análise, mas esse fato poderia indicar que, talvez, o critério utilizado para a definição da amostra, com base nos resultados do Enade, tenha influenciado para que os conceitos atribuídos a esse grupo menor de IES não acompanhasse o que foi encontrado na análise do total de visitas de recredenciamento.

Considerações Finais

Neste artigo procurou-se trazer contribuições à compreensão e ao aprofundamento das reflexões sobre a avaliação institucional e o significado do PDI, ressaltando a alteração que foi feita na estrutura do instrumento de avaliação institucional, em 2014, que passou a contemplar as dimensões do Sinaes em eixos e a enfatizar as ações realizadas pelas IES resultantes dos processos de avaliação externa e interna. A ênfase assumida pelo processo de autoavaliação, como instrumento para a construção da qualidade institucional foi ressaltada, bem como na realização, com qualidade, do que está proposto no plano de desenvolvimento institucional. Para tanto, buscou-se, ao comparar o IGC e o CI das instituições que integram a amostra de cursos com CPC 4 e ou 5 nos três ciclos avaliativos, identificar em que medida esses índices estão, de fato, contribuindo para avaliar a implementação do PDI dessas instituições.

A prática que foi adotada, pela regulação, de utilizar o IGC como indicador de qualidade de forma independente do CI, pode ter contribuído para a não valorização da autoavaliação institucional, mesmo sendo ela, no Sinaes, parte integrante da avaliação institucional. O mesmo motivo pode ter sido responsável, também, pela baixa intensidade no uso dos seus resultados na gestão das IES. Visando alterar essa realidade, as mudanças introduzidas na avaliação externa com a implementação do novo instrumento partir de 2014 ressaltam a importância do processo de autoavaliação e da sua relação com o PDI, além de contribuir para o reconhecimento do trabalho da CPA para a avaliação institucional. Resultantes de uma meta-avaliação do Sinaes, essas mudanças podem vir a representar avanços efetivos para o processo de avaliação da educação superior.

A análise comparada dos indicadores de qualidade da educação superior e dos resultados da avaliação in loco evidenciou concentração dos resultados do CI e do IGC nos níveis satisfatório 3 e acima dele, o que é coerente com a amostra de IES cujos cursos obtiveram resultados positivos elevados no CPC em três ciclos avaliativos. Pode-se inferir que uma proporção importante das IES atua de modo a manter-se no nível 3 e, consequentemente, no limite do considerado satisfatório na escala atribuída pelo Sinaes. A distribuição dos resultados nos níveis 3 e 4 da escala, por sua vez, se apresentou de forma mais equilibrada no CI do que no IGC.

Nos dois níveis superiores, 4 e 5, CI e IGC se distanciaram de forma significativa e essa distância foi mais acentuada no segundo do que no primeiro índice. O percentual mais acentuado do IGC no nível 4 permite observar que as IES se concentram mais no Enade no sentido de atingir padrões de qualidade mais elevados, do que em relação ao PDI, avaliado pelas comissões externas para atribuir o CI. Esses resultados podem estar relacionados com a forma distinta de cálculo dos dois índices. Ao mesmo tempo, sugerem a necessidade de realizar um estudo com os avaliadores que participaram das avaliações in loco, para compreender se o perfil e/ou sua forma de atuação podem ter produzido alguma interferência sobre esses resultados.

Tendo em vista a proeminência adquirida pelo Enade frente aos processos de avaliação in loco previstos no Sinaes, desde a criação do CPC e do IGC, e considerando a ampla divulgação dos seus resultados à sociedade, é compreensível que tenha sido esta a opção institucional. Acresce a isso, as modificações que foram introduzidas no processo de regulação, a partir da criação da Seres, em 2011, fazendo com que resultados satisfatórios obtidos no CPC, que considera insumos provenientes do Enade, levassem à publicação de portaria de renovação de reconhecimento do curso com processo aberto “de ofício”, e consequente dispensa de avaliação in loco. Do ponto de vista da instituição, a manutenção do resultado mais elevado no IGC, por sua vez, representa a obtenção de prerrogativa de autonomia, com a possibilidade de autorização de novos cursos independente de visita para avaliação.

Quanto ao CI, além de a IES receber o ato autorizativo de credenciamento ou recredenciamento, não há previsão de nenhum bônus adicional para aquelas cujas avaliações in loco resultaram em CI satisfatório. Desse modo, além de a forma de divulgação dos resultados ser distinta, ambos, CI e IGC publicados no cadastro e-MEC e também no Diário Oficial da União, os indicadores CPC e IGC apresentam vantagens comparativas para as instituições em relação às visitas de comissões de avaliação externa. Isso porque, em detrimento do processo de avaliação institucional tal como concebido no Sinaes, e do fortalecimento do ciclo avaliativo desse sistema, do ponto de vista da regulação os indicadores abrem mais possibilidades do que o CI.

O sistema e-MEC, que deveria servir para o acompanhamento dos processos institucionais pelas IES e pela sociedade, adota a prática de excluir os resultados anteriores obtidos pelas instituições nos processos avaliativos, substituindo-os pelo mais recente. Restringe-se, assim, a divulgação a um registro pontual, que impossibilita visualizar e avaliar a qualidade da IES e de seus cursos com maior abrangência. Para isso seria necessário que o sistema e-MEC gerasse um histórico de resultados, de modo a, por meio desta informação, permitir acompanhar a evolução institucional e o quanto de valor esta agrega à comunidade na qual está inserida e/ou à sociedade em geral.

Desse ponto de vista, é também o PDI que perde relevância, não só no processo avaliativo como até mesmo para as instituições. O tratamento unificado dos resultados dos três componentes do Sinaes (Enade e avaliações interna e externa de cursos e instituições), e a promoção de sua divulgação de forma sistemática e transparente pode vir a representar um investimento para o aprimoramento do sistema. Amplia, além disso, as possibilidades de reconhecimento público da avaliação como indutora de qualidade da educação superior. Essas são sinalizações para o futuro, cujas possibilidades de êxito são marcadas pelas incertezas a ele inerente, decorrentes da condução de políticas nacionais e, até mesmo, internacionais.

Referências

  • BRASIL. Lei nº 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação. Diário Oficial da União, Brasília, 10 jan., Seção I, p. 1, 2001.
  • BRASIL. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - Sinaes e dá outras providências. Diário Oficial da União, Brasília, n. 72, 15 abr., Seção I, p. 3-4, 2004.
  • BRASIL. Portaria nº 4, de 13 de janeiro de 2005. Implanta o Instrumento de Avaliação Institucional Externa para fins de credenciamento e recredenciamento de universidades. Diário Oficial da União, Brasília, nº 10 de 14/01/2005, Seção 1. p. 24, 2005.
  • BRASIL. Portaria n. 92 de 31 de janeiro de 2014. Aprova em extrato os indicadores do Instrumento de Avaliação Institucional Externa para os atos de credenciamento, recredenciamento e transformação de organização acadêmica, modalidade presencial, do Sistema Nacional de Avaliação da Educação Superior - Sinaes. Diário Oficial da União, Brasília, 4 fev., n. 2, Seção 1, p. 6-8, 2014a.
  • BRASIL. Lei nº 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação - PNE e dá outras providências. Diário Oficial da União, Brasília, 26 jun., Seção I, p. 1, edição extra, 2014b.
  • BRASIL. MINISTÉRIO DA EDUCAÇÃO (MEC). Comissão Especial de Avaliação (CEA). Sistema Nacional de Avaliação da Educação Superior (Sinaes): bases para uma proposta da educação superior. Brasília: Editora do MEC, 2003.
  • BRASIL.MINISTÉRIO DA EDUCAÇÃO (MEC). Cadastro e-MEC. Disponível em: <Disponível em: http://emec.mec.gov.br/ >. Acesso em: 13 jun. 2016.
    » http://emec.mec.gov.br/
  • GRIBOSKI, C. M. Regular e/ou induzir qualidade? Os cursos de pedagogia nos ciclos avaliativos do Sinaes. 2014. 482 f. Tese (Doutorado em Educação) - Universidade de Brasília, Brasília, 2014.
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Portaria Ministerial n. 224, de 28 de junho de 2012, designa os seguintes docentes para composição da Comissão de Revisão dos Instrumentos de Avaliação Institucional, presencial e EAD, e de Polo de apoio presencial na Modalidade a Distância, no âmbito do Sistema Nacional de Avaliação de Educação Superior - Sinaes. Brasília: INEP, 2012.
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica INEP/DAES/Conaes nº 65, de 9 de outubro de 2014. Roteiro do Relatório de Autoavaliação Institucional. Brasília, 2014a. Disponível em: <Disponível em: http://portal.inep.gov.br/superior-avaliacao_institucional/nota-tecnica >. Acesso em: 13 jun. 2016.
    » http://portal.inep.gov.br/superior-avaliacao_institucional/nota-tecnica
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica INEP/DAES/Conaes nº 62 de 09 outubro de 2014. Definição da estrutura do Relato Institucional. Brasília, 2014b. Disponível em: <Disponível em: http://portal.inep.gov.br/superior-avaliacao_institucional/nota-tecnica >. Acesso em:13 jun. 2016.
    » http://portal.inep.gov.br/superior-avaliacao_institucional/nota-tecnica
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica nº 14 /2014 - CGACGIES/DAES/INEP/MEC. Brasília, 2014c. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/nota_tecnica/2014/nota_tecnica_n14_2014.pdf Acesso em: 3 out. 2015.
    » http://download.inep.gov.br/educacao_superior/avaliacao_institucional/nota_tecnica/2014/nota_tecnica_n14_2014.pdf
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Instrumento de avaliação institucional externa. Subsidia os atos de credenciamento, recredenciamento e transformação da organização acadêmica presencial. Brasília, agosto de 2014d. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2014/instrumento_institucional.pdf >. Acesso em: 3 out. 2015.
    » http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2014/instrumento_institucional.pdf
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Nota Técnica DAES/INEP nº 58/2015 de 27 de outubro de 2015. Cálculo do conceito preliminar de curso. Brasília, 2015. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2014/nota_tecnica_daes_n582015_calculo_do_cpc2014.pdf >. Acesso em: 13 jun. 2016.
    » http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2014/nota_tecnica_daes_n582015_calculo_do_cpc2014.pdf
  • PEIXOTO, M. C. L. Plano Nacional de Educação 2011-2020: desafios para a educação superior. In: CUNHA, C.; SOUSA, J. V.; SILVA, M.A. (Orgs.). Universidade e educação básica: políticas e articulações possíveis. Brasília: Faculdade de Educação/Universidade de Brasília; Liber Livro, 2012. p. 48-67.
  • SOUSA, J. V. Avaliação e regulação na educação superior brasileira: concepção, natureza e finalidades. In: CUNHA, C.; SOUSA, J. V.; SILVA, M.A. (Orgs.). Universidade e educação básica: políticas e articulações possíveis. Brasília: Faculdade de Educação/Universidade de Brasília; Liber Livro , 2012. p. 147-170.
  • 1
    Este projeto integra o projeto OBEDUC/CAPES "Políticas da Expansão da Educação Superior", da Rede Universitas/Br e conta, também, com recursos do CNPq.
  • 2
    O CPC é constituído de oito componentes, agrupados em três dimensões, que se destinam a avaliar a qualidade dos cursos de graduação: a) desempenho dos estudantes, b) corpo docente, e c) condições oferecidas para o desenvolvimento do processo formativo.
  • 3
    A cada ciclo avaliativo a instituição é avaliada in loco. Os avaliadores, orientados pelos IGC das instituições de cada ano, atribuem também um Conceito Institucional (CI), considerando também os elementos da visita. A Avaliação Institucional é composta pela autoavaliação ou avaliação interna (coordenada pela Comissão Própria de Avaliação de cada instituição), e pela avaliação externa realizada pelas comissões designadas pelo INEP.
  • 4
    Esta é a denominação do indicador conforme a portaria de criação. Para diversos efeitos, entre eles de divulgação, essa denominação foi resumida para Índice Geral de Cursos, a qual será adotada doravante neste artigo.
  • 5
    O IGC é um indicador criado por meio da Portaria Normativa nº 12 de 5 de setembro de 2008, que busca expressar a qualidade de todos os cursos de graduação, mestrado e doutorado de uma instituição de educação superior. Este indicador depende fortemente da média do Conceito Preliminar de Cursose, em menor grau, da média dos conceitos dos programas de pós-graduação de cada IES.
  • 6
    O ciclo avaliativo compreende a realização periódica de avaliação de instituições e cursos superiores, com referência nas avaliações trienais de desempenho de estudantes, as quais subsidiam, respectivamente, os atos de recredenciamento e de renovação de reconhecimento.
  • 7
    Segundo a Portaria nº 4, de 13 de janeiro de 2005 que criou o primeiro instrumento de avaliação sua estrutura está configurada pelos seguintes elementos constitutivos :I - Dimensões são agrupamentos de grandes traços ou características referentes aos aspectos institucionais sobre os quais se emite juízo de valor e que, em seu conjunto, expressam a totalidade da instituição. II - Categorias são subdivisões ou aspectos específicos que compõem uma dimensão e que, em conjunto, expressam a situação em que se encontra a instituição com relação a cada dimensão. III - Grupo de indicadores é o conjunto de medidas e/ou evidências usadas para caracterizar o estado da categoria. IV - Indicadores são evidências concretas (quantitativas ou qualitativas) relativas a cada um dos grupos de indicadores, que de uma forma simples ou complexa caracterizam a realidade dos múltiplos aspectos institucionais que retratam. V - Critérios são atributos ou qualidade dos indicadores que permitem avaliar uma categoria (Art. 2º).
  • 8
    Foram membros integrantes dessa comissão: Ana Maria Ferreira de Mattos Rettl - Universidade Bandeirante de São Paulo e Universidade Federal de Santa Catarina; Claudia Maffini Griboski - Diretoria de Avaliação da Educação Superior do INEP/MEC; Cleunice Matos Rehem - Secretaria de Regulação e Supervisão da Educação Superior do MEC; Gilberto Gonçalves Garcia - Conselho Nacional de Educação; Luiz Paulo Mendonça Brandão - Instituto Militar de Engenharia; Mario César Barreto Moraes - Universidade Estadual de Santa Catarina; Marlis Morosini Polidori - Centro Universitário Metodista; Míriam Stassun dos Santos - Centro Federal de Educação Tecnológica de Minas Gerais; Marion Creutzberg - Pontifícia Universidade Católica do Rio Grande do Sul; Rafael Arruda Furtado - Secretaria de Regulação e Supervisão da Educação Superior do MEC; Sérgio Fiúza de Mello Mendes - Centro Universitário do Estado do Pará; Sergio Donizetti Zorzo - Universidade Federal de São Carlos; Robert Evan Verhine - Comissão Nacional de Avaliação da Educação Superior; Suzana SchwerzFunghetto - Diretoria de Avaliação da Educação Superior do INEP/MEC.
  • 9
    A Orientação para o Roteiro de Autoavaliação institucional é fruto dos debates realizados nos Seminários Nacionais de CPA, promovidos pela DAES/INEP. A aprovação da Nota Técnica conjunta INEP/DAES/Conaes nº 65/2014 está registrada na Ata da 112ª RO Conaes de 09 de dezembro de 2014.
  • 10
    Ressalve-se, que a exigência do Relato Institucional foi determinada somente para aquelas IES que protocolaram o pedido de recredenciamento institucional após a publicação do novo instrumento de avaliação institucional externa.
  • 11
    De acordo com o Decreto nº 5773/2006, os atos de credenciamento e recredenciamento, para IES com autonomia, têm prazo de validade de até dez anos. Para IES sem autonomia ele é de cinco anos.
  • 12
    Estudo realizado pelo INEP para meta-avaliação do Sinaes nos Dez Anos de Implementação (2004-2014). Contempla a análise do perfil dos avaliadores do BASis realizado pela consultora contratada, via PNUD, Maria do Carmo de Lacerda Peixoto.

Datas de Publicação

  • Publicação nesta coleção
    Jan-Apr 2018

Histórico

  • Recebido
    23 Ago 2016
  • Aceito
    04 Jul 2017
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br