Avaliação da educação superior: um comparativo dos instrumentos de regulação entre Brasil e Portugal

Higher education assessment: a comparative of adjustment of instruments between Brazil and Portugal

Resumo:

O artigo procura estabelecer a relação entre os instrumentos utilizados no SINAES e a experiência empregada em nível internacional por meio do diálogo com o sistema europeu de avaliação da educação superior tendo como foco o caso de Portugal. Objetiva-se revisar, identificar e comparar a equivalência dos instrumentos de regulação implementados nos processos de avaliação e acreditação dos dois países. A investigação faz parte de uma pesquisa interinstitucional (UPF, UFSM, IPA e UCS) no âmbito do projeto “Meta avaliação do SINAES”, financiado pelo CNPq. Com base na pesquisa bibliográfica e na análise documental procurou-se demonstrar que são sistemas diferenciados, porém, relacionais que buscam a mesma finalidade: assegurar a forte capacidade reguladora do Estado. Conclui-se que no Brasil e em Portugal as avaliações são do tipo Top-down com perda de autonomia e liberdade acadêmica.

Palavras-chave:
Avaliação; Regulação; Instrumentos; Brasil; Portugal

Abstract:

This article seeks to establish the relationship between the instruments used in SINAES and the maid experience at the international level through dialogue with the European system of evaluation of higher education focusing on the case of Portugal. The objective is to review, identify and compare the equivalence of the regulatory instruments implemented in the evaluation and accreditation processes of both countries. The research is part of an inter-institutional research (UPF, UFSM, IPA and UCS) under the project "Meta evaluation of SINAES" funded by CNPq (funding agency). Based on the literature and document analysis aimed to show that the system is different, however, relational seeking the same goal: ensuring strong regulatory capacity of the state. We conclude that in Brazil and Portugal evaluations are the Top-down with loss of autonomy and academic freedom.

Key words:
Assessment; Regulation; Instruments; Brazil; Portugal

1 Introdução

Este artigo aborda o desenvolvimento das políticas de avaliação da educação superior e procura estabelecer relação entre os instrumentos utilizados no SINAES no Brasil e a experiência empregada em nível internacional, por meio do diálogo com o sistema europeu de avaliação da educação superior, tendo como foco o caso de Portugal.

Tais políticas estão vinculadas às estratégias de inserção da economia nas grandes transformações que vêm ocorrendo na base produtiva do capitalismo em âmbito mundial. É nesta perspectiva que se fundamenta o objeto deste estudo - revisar, identificar e comparar a equivalência dos instrumentos implementados nos processos de avaliação e acreditação e seus efeitos na garantia da qualidade do ensino superior dos dois países.

Para análise desses estudos de caso, optou-se pela pesquisa bibliográfica e também pela análise documental a partir da base de dados dos respectivos sistemas de avaliação dos países.

De modo tradicional, sabemos que os sistemas de avaliação da qualidade do ensino superior deveriam combinar, simultaneamente, dois objetivos: a melhoria da qualidade e a prestação de contas (accountability).

No entanto, na prática há um descompasso entre as instituições e os governos, pois enquanto as IES se interessam pelo primeiro objetivo, a regra tem demonstrado que os governos focam-se no segundo.

É sabido que em todo o mundo e, especialmente na América Latina e Europa, a massificação dos sistemas de ensino superior foi acompanhada por um grande aumento da heterogeneidade de estudantes, docentes e pelo surgimento de novos tipos institucionais de ensino superior diferentes do modelo clássico de universidade, fato que corroborou para “aumentar a falta de confiança nos sistemas de ensino superior, nas instituições e nos profissionais” (AMARAL, 2010, p. 34), gerando a necessidade de mecanismos de avaliação da qualidade, com base nos princípios da autorregulação, ou seja; no “modelo da supervisão de Estado” (TROW, 1996, p. 19).

Em se tratando de Europa, este e outros fatores deram legitimidade e visibilidade à Associação Europeia para garantia da qualidade no ensino superior (ENQA) a fim de apontar à comunidade europeia, após o Processo de Bolonha, a necessidade de implementação de um novo sistema de garantia da qualidade. Em função disso, países como Portugal, Flandres e Holanda, que antes tinham sob sua responsabilidade o sistema nacional de avaliação, logo procuraram substituí-lo por agências de avaliação e acreditação independentes das instituições.

Com a alteração dos sistemas de avaliação, paralelamente ocorreu a introdução de novos mecanismos de controle como os indicadores de desempenho, mecanismos de financiamento, e medições da qualidade acadêmica. No Brasil esta ação ocorreu por meio do Sistema Nacional de Avaliação da Educação Superior (SINAES, 2004), coordenado pelo INEP/MEC, uma autarquia ligada ao governo federal e em Portugal através Sistema de Avaliação e Acreditação, coordenado pela Agência de Avaliação e Acreditação da Educação Superior (A3ES, 2007), fundação de direito privado.

Portanto, não por acaso, as instituições têm sofrido pressões para maior prestação de contas, cada vez mais dependentes de processos de avaliação do desempenho, por meio da supervisão, acompanhada de possíveis cortes no financiamento, visando a ganhos substanciais de eficiência e de produtividade.

O texto se divide em três partes: primeiro se faz um histórico da trajetória da avaliação da educação superior nos dois países, acompanhado do atual fluxo do processo de avaliação da educação superior, com destaque para os respectivos instrumentos utilizados; segundo, abordam-se aspectos atinentes aos achados da pesquisa e se questiona entre as duas experiências a ocorrência de similaridade, heterogeneidade e ou complexidade. Por último, conclui-se afirmando que numa linha conceitual há uma relação circular entre avaliação, regulação e supervisão, na prática, porém, sobressai a regulação por meio dos instrumentos utilizados nas respectivas avaliações externas dos dois países.

2 Políticas de avaliação, regulação e supervisão da educação superior no Brasil

Um olhar mais apurado sobre a prática da avaliação da Educação Superior no país nos permite reconhecer que tivemos, até então, quatro ciclos avaliativos (POLIDORI, 2009, p. 444), conforme segue:

1. O primeiro tratou da Construção da agenda (1983-1992), quando houve experiências isoladas de avaliação pelo país;

2. O segundo denominou-se de formulação da política (1993-1995), com a elaboração do Programa de Avaliação Institucional das Universidades Brasileiras¹ (PAIUB, 1993), que definiu parâmetros e indicadores de avaliação;

3. O terceiro referiu-se à consolidação ou à implementação da proposta governamental (1995-2002), apresentou novos mecanismos regulatórios e compulsórios de avaliação, constituiu a base dos processos de regulação e supervisão da Educação Superior; e o

4. O quarto ciclo, em andamento, corresponde à construção da avaliação emancipatória (2003-atual); que revisou o modelo anterior e criou o Sistema Nacional de Avaliação da Educação Superior (SINAES), aprovado pela Lei n. 10.861, de 14 de abril de 2004.

O referido sistema trouxe em seu bojo uma série de instrumentos complementares, aplicados em diferentes momentos como: Avaliação interna: autoavaliação, Avaliação Externa, Exame Nacional de Desempenho dos Estudantes (ENADE), Avaliação dos Cursos de Graduação e instrumentos de informação (Censo e Cadastro).

No caso, a ação do MEC abrange as funções de: avaliação, regulação e supervisão das instituições e dos cursos superiores, regulamentadas pelo Decreto N. 5.773, de 9 de maio de 2006, a seguir explicitadas.

Assim, considera-se um marco o primeiro ciclo avaliativo do SINAES, quando propôs em suas referências o modelo da avaliação institucional emancipatória. Em termos de supervisão, iniciou-se a sistemática de renovação periódica de atos autorizativos, como o recredenciamento de instituições e a renovação de reconhecimento de cursos; condicionados, então, aos resultados positivos da avaliação.

Em relação aos instrumentos utilizados, verifica-se que o ENADE é o principal, visto que serve para gerar os indicadores de qualidade das instituições e seus cursos, subsidiando o MEC nas ações de regulação que credencia Universidades, Centros Universitários e Faculdades; como também autoriza, reconhece e renova o reconhecimento de cursos.

Neste contexto, três indicadores são alimentados pelo SINAES: o Conceito Preliminar de Curso (CPC), o Índice Geral de Cursos da Instituição (IGC) e o Conceito Institucional (CI) que envolve a Avaliação Institucional.

Além das informações advindas das avaliações do SINAES, a composição desses indicadores também é subsidiada pelas informações anuais do Censo da Educação Superior, que reúne dados sobre as instituições de ensino superior, seus cursos de graduação presencial e a distância e cursos sequenciais.

Do ponto de vista da regulação, a função do Estado é a de traduzir em ações concretas os atos autorizativos de credenciamento ou recredenciamento de instituições e de autorização, reconhecimento ou renovação de reconhecimento de cursos de graduação presencial, a distância e sequenciais. Esse processo de regulação é de competência da Secretaria de Regulação e Supervisão da Educação Superior (SERES/MEC) no âmbito das IES do Sistema Federal de Ensino (instituições federais e privadas), enquanto que para as IES estaduais e municipais a regulação está sob a alçada dos sistemas estaduais de ensino.

A necessidade de autorização ocorre quando um curso será criado em uma instituição intitulada faculdade, tendo em vista a sua restrita autonomia estipulada por lei. No entanto, é importante referir que se a faculdade possuir o CPC de seus cursos e IGC positivos, é possível que um curso seja ofertado sem a avaliação in loco. Para os centros universitários e universidades, não é necessário que ocorra o processo de autorização realizado pelo Ministério, bastando a autorização de seu colegiado máximo para funcionar. O instrumento utilizado para avaliar os cursos abrange três dimensões: organização didático-pedagógica, corpo docente e tutorial e infraestrutura tendo como complementação a análise dos Requisitos Legais e Normativos.

O ato de Reconhecimento deverá ser solicitado ao MEC, quando a primeira turma do novo curso completar entre 50% e 75% de sua carga horária, momento em que ocorrerá uma segunda avaliação (no caso de faculdades) para verificar se foi cumprida a proposta apresentada para autorização ou uma primeira avaliação (no caso de centros universitários e universidades). Esse ato é necessário para a validade nacional dos respectivos diplomas.²

A Renovação de Reconhecimento de cursos é uma avaliação feita de acordo com o ciclo do ENADE, que deve ocorrer a cada três anos, no entanto, também devido à autonomia que vem sendo concedia às IES com avaliação positiva em seus indicadores, as avaliações in loco em caráter de supervisão estão ocorrendo somente nos cursos que obtiverem CPC 1 ou 2.

As ações de recredenciamento das IES caracterizam o processo de regulação do sistema federal de educação superior que inicia com o processo avaliativo desenvolvido pelo INEP e se encerra com o encaminhamento do Parecer da Secretaria de Regulação e Supervisão da Educação Superior (SERES) ao Conselho Nacional de Educação (CNE) para avaliar e encaminhar ao Ministro da Educação para a devida homologação e emissão da portaria divulgada no Diário Oficial da União.

Na sequência desse processo, a atividade de Supervisão realizada pela SERES objetiva zelar pela conformidade entre a oferta da educação superior e a legislação vigente, de modo a induzir a melhoria necessária à qualidade do ensino. As ações de supervisão desenvolvidas, atualmente, preocupam-se com aquelas IES que vêm apresentando fragilidades e problemas no seu funcionamento, na perspectiva de dar subsídios e auxílio para a melhoria de qualidade.

Nesse sentido, é importante evidenciar que o processo de supervisão atualmente desenvolvido pelo Ministério da Educação, de compromisso da SERES, não possui condições de realizar um processo de supervisão para todo o sistema federal de educação superior devido a sua dimensão e complexidade.

Disso compreende-se que o sistema de avaliação da educação superior no Brasil, instaurado pelo SINAES (2004), procura abranger as funções de avaliação, regulação e supervisão, de modo articulado, tendo a avaliação como uma referência básica para a regulação e a supervisão da educação superior com vistas a promover a melhoria da qualidade do ensino superior, por meio da avaliação dos cursos e das instituições.

3 Políticas de avaliação da educação superior em Portugal

Após a Revolução de 1974, a aplicação do princípio da autonomia teve espaço na Constituição da República Portuguesa de 1976 com ampliação na Revisão Constitucional de 1982, ou seja; “as universidades gozam de autonomia estatutária, científica, pedagógica, administrativa e financeira”. Essa última revisão enfatiza que a autonomia deve ser desenvolvida por legislação própria e que foi concretizada pela Assembleia da República, quando se aprovou a Lei N. 108/1988 que trata da autonomia das universidades.

Os sistemas de garantia da qualidade através da avaliação, acreditação e auditoria se desenvolveram na década de 1980 e se expandiram em todo o espaço europeu. No caso de Portugal, a proposta de avaliar o ensino superior constou na Lei de Bases do Sistema Educativo (LBSE) N. 46/1986, de 14 de outubro, quando estabeleceu que o ensino superior devia ser objeto de avaliação continuada.

Em 1993, a partir do diálogo entre o Conselho dos Reitores das Universidades Portuguesas (CRUP) e o Ministério da Educação, surgiu o resgate da proposta da autonomia universitária em favor de um processo de avaliação. O governo contribuiu com as negociações, apresentando um projeto de Lei de Avaliação, criando junto a Fundação Nacional para a Avaliação das Instituições de Ensino Superior Portuguesas.

Tal projeto recebeu críticas devido ao seu teor detalhista e centralizador, além de omitir a participação de entidades envolvidas no debate, como o CRUP, o qual soube reverter a situação e montar estratégias que muito apropriadamente redimensionaram as críticas em efeitos positivos, favorecendo o desenvolvimento de uma cultura de avaliação.

A estratégia foi apresentar os debates e as realizações sobre avaliação no entorno europeu, tomando por base os modelos da França, Reino Unido e Países Baixos. A partir desses embates, podem-se reconhecer três ciclos bem distintos da avaliação da educação superior em Portugal.

No cenário internacional, com o avanço das políticas de cunho neoliberal, a emergência da nova gestão pública (NGP) e a utilização dos mercados como instrumentos de políticas públicas, ocorreu uma abertura para a privatização das atividades do Estado; a defesa da gestão privada e o descrédito nas instituições ganharam expressão no cenário (DILL et al., 2004).

Amaral (2010, p. 39) enfatiza que compartilharam desta mudança a “fraca capacidade reguladora do Estado e a inoperância de um sistema de avaliação em combater os casos de baixa qualidade no ensino superior”.

Objetivando compreender e subsidiar ações de mudanças, o governo (2005) encomendou um estudo minucioso sobre o sistema de ensino superior português à European Association for Quality Assurance in Higher Education (ENQA) e à Organisation Economic Co-operation and Development (OECD).

A ENQA, no âmbito do Processo de Bolonha, aprovou as Normas e Diretrizes para a garantia da qualidade no Espaço Europeu de Ensino Superior (ESG, 2005), intituladas no documento Standards and Guidelines for Quality Assurance in the European Higher Education Area. Com base neste documento, essa associação em 2006, elaborou um relatório sobre o sistema de avaliação português, o qual denominou de Quality Assurance of Higher Education in Portugal.

Assim a ENQA incluiu rigorosas avaliações por autoridades independentes e externas, com avaliações externas de modo a regular a todos os programas de estudo e a todas as IES. A separação dos subsistemas universitário e politécnico também foi destaque na conclusão desse processo.

Em confluência, a OCDE tornou público o Relatório denominado Reviews of National Policies for Education: tertiary Education in Portugal (2006), momento em que avaliou e fez recomendações, com destaque para a importância do fortalecimento da exposição das universidades a contextos de grande competividade e prestação de contas.

A OCDE reconheceu que a expansão do sistema exigiria mais recursos financeiros, de antemão apontou que a alternativa para isso seria as contribuições de natureza privada de via filantrópica e a contribuição dos estudantes por meio de sistema de empréstimo com pagamento indexado aos rendimentos (income contigent loans).

Outros elementos como o aumento da empregabilidade e a consequente ligação ao mercado de trabalho, aliado à necessidade da participação da sociedade, levou a OCDE a recomendar a criação de um novo sistema de acreditação por meio das novas diretrizes da ENQA.

Assim, o Governo começou a preparar as condições por meio acelerado de normativas. Aprovou o Decreto-lei N. 74/2006, de 24 de março, alterado pelo Decreto-lei N. 107/2008, que trata do regime jurídico das Instituições de Ensino Superior (RJIES), em que se fixam os princípios gerais da acreditação das IES e respectivos ciclos de estudos, seguido do Decreto-Lei N. 38/2007, de 16 de agosto, que estabeleceu o regime jurídico da avaliação do ensino superior, tornando obrigatória a avaliação da qualidade a ser realizada no âmbito do sistema europeu de garantia da qualidade no ensino superior, abrangendo os estabelecimentos de ensino superior, suas unidades e seus ciclos de estudos.

Na visão do Ministério da Ciência, Tecnologia e Ensino Superior (MCTES, 2007, p. 107), o regime jurídico de garantia da qualidade do ensino superior aprovado:

Introduziu um verdadeiro sistema de avaliação externa, independente das instituições de ensino, e onde não se confundem avaliadores e avaliados; torna a acreditação das instituições e ciclos de estudos condição indispensável ao seu funcionamento e reconhecimento dependente de uma avaliação prévia favorável; reconhece o papel fundamental das ordens e outras associações profissionais públicas, que passam a participar do processo de acreditação, fazendo cessar a sua anacrônica intervenção a posteriori no processo de reconhecimento profissional de cursos superiores tornadas, em certos casos, necessária pela ausência de um sistema.

No rumo das tendências mundiais, foi implementada com a participação das próprias instituições e por uma Agência de Avaliação e Acreditação independente, criada pelo Governo, para realizar o processo de avaliação e de acreditação levando em conta a avaliação do ensino, da qualificação docente, da cooperação internacional, da atividade científica e tecnológica, incluindo os estudantes e entidades externas, como ordens e outras associações públicas profissionais, sendo público os resultados dos processos.

Por essa abrangência, sobressaem-se as regras sobre o sistema de qualidade, vindo na esteira do Processo de Bolonha que impactou os sistemas de ensino superior dos países europeus, especialmente, quanto à adoção de formas de garantia de qualidade acadêmica e de sistemas de avaliação externa e de acreditação.

Se antes a maioria dos sistemas universitários da Europa ocidental tinham como tradição a autonomia, por meio de sistemas de avaliação; após Bolonha, verificou-se uma mudança em favor dos sistemas de acreditação, de caráter heterônomo, visando articular esquema de certificação que, simultaneamente, atendam tanto a propósitos nacionais de fortalecimento de qualidade e aumento de competividade, como também à perspectiva de internacionalização derivadas da integração no bloco econômico.

Terceiro ciclo (2007- atual) - diante das decisões de um país articulado com a comunidade europeia, com o terreno totalmente sedimentado, o governo português instituiu através do Decreto-lei N. 369/2007 a fundação de direito privado denominada Agência de Avaliação e Acreditação do Ensino Superior (A3ES), por tempo indeterminado, autônoma no exercício das suas competências, sem prejuízo dos princípios fixados pelo Estado.

Em razão disso, a A3ES abrange duas funções, ou seja; avaliação da qualidade e acreditação das instituições de ensino superior e de seus ciclos de estudos, de modo a garantir o cumprimento dos requisitos básicos do seu reconhecimento oficial, em consonância com a inserção do país no sistema europeu de garantia da qualidade do ensino superior, instituída pela Lei N. 38/2007, de 16 de agosto, complementada por outras legislações como: Lei N. 74/206, de 24 de março, alterada pelo Decreto-lei N. 107/2008, de 25 de junho e pelo Decreto-Lei N. 230/2009, de 14 de setembro.

Na ótica de Carr, Hamilton e Meade (2005, p. 195) substituir o tradicional processo de homologação e autorização por outro de acreditação significa “transformar, progressivamente, os mecanismos de intervenção prévia por instrumentos de auditoria, em que se avalia a qualidade da gestão”

Foi a partir dessa conjuntura que a avaliação passou a ter caráter obrigatório para as instituições de ensino superior portuguesas, com renovação a cada seis anos. Sem deixar de mencionar a abrangência e a complementaridade do sistema, pois a avaliação de qualidade do desempenho de um estabelecimento de ensino superior implica a avaliação de todos os ciclos de estudos existentes. Portanto, as instituições interessadas em manter o funcionamento dos ciclos de estudos acreditados requerem a renovação da acreditação até o término do ano letivo anterior àquele em que se verifica a caducidade da acreditação.

O atual fluxo da avaliação da qualidade e da acreditação em Portugal desenvolve-se através de cinco instrumentos, a saber: Garantia Interna da Qualidade, Autoavaliação, Avaliação Externa, Acreditação e Auditoria Institucional.

A Garantia Interna da Qualidade é um processo de Avaliação Interna, no qual compete a cada instituição definir a sua política para a qualidade e estabelecer o sistema interno de garantia de qualidade que melhor se adapte as suas especificidades, a sua etapa de desenvolvimento e as necessidades, obedecendo a princípios comuns, aos padrões e as orientações européias e os preceitos legais aplicáveis.

Sobre isso Sarrico (2010, p. 56) adverte que:

Há um conjunto de referenciais adotados pela Agência que servem de base para as IES organizarem e estruturarem seus sistemas internos de garantia da qualidade a partir de estruturas e procedimentos que já disponham de acordo com o perfil e necessidades de cada instituição.

A partir desses elementos, foi desenvolvido um modelo de auditoria para os sistemas de garantia da qualidade, visando à certificação, para o qual foram elaborados: um Manual para o processo de auditoria, um Guião para a Autoavaliação e um Guião para a Elaboração do Relatório de Auditoria, todos disponíveis no site da Agência A3ES.

O processo de autoavaliação se insere no âmbito da avaliação interna e se caracteriza por um processo planejado institucional e autônomo a ser implementado pelas próprias instituições de ensino, tendo por base a consulta e a análise sistemática dos dados da sua atividade. Devem participar os docentes, os estudantes, o pessoal técnico e os diplomados, objetivando promover uma reflexão interna coletiva sobre a instituição e as suas atividades. Necessariamente, esse processo também antecede e serve de referencial básico para os processos de avaliação externa do estabelecimento de ensino ou de seus ciclos de estudos.

Devido ao caráter autonômico das IES portuguesas, fica a critério delas decidirem como será o modo de participação dos estudantes no processo de autoavaliação, entretanto, a A3ES (2013, p. 43) apresenta inúmeras sugestões para que as IES se orientem quanto a este quesito, pois os considera como:

Um dos grupos responsáveis pelo desenvolvimento da autoavaliação; podendo colaborar na redação dos relatórios de autoavaliação; respondendo a inquéritos pedagógicos; participando em iniciativas institucionais destinadas a recolher informação (seminários, sessões de discussão, etc.); sendo auscultados nas reuniões com painéis, comissões externas de avaliação.

Esse processo coloca os estudantes como peças importantes na avaliação pelas suas participações, não havendo nenhum exame de desempenho de competências e habilidades das respectivas áreas.

A avaliação externa é um processo coordenado pela Agência e é desenvolvido por meio de painéis de avaliação integrados por peritos independentes que compõe as Comissões de Avaliação Externas (CAE), cuja função é de realizar visitas as IES a serem avaliadas, além de escutar os representantes dos discentes, docentes, pessoal técnico e entidades externas, designadamente associações profissionais dentre outras organizações.

As referidas comissões são nomeadas pela A3ES, constituídas por três a cinco membros, um dos quais é o presidente, devendo, pelo menos, um deles ser recrutado internacionalmente, entre os peritos reconhecidos na área, os quais têm o objetivo de analisar o Relatório de Autoavaliação; visitar as instituições e recolher e analisar os dados e informações complementares necessárias à avaliação visando emitir uma declaração sobre a sua qualidade. Cada comissão avalia um ciclo de estudos ou um conjunto de ciclos de estudos, num mesmo domínio do conhecimento, apoiado por um código de ética que consta no Manual de Avaliação (A3ES, 2013), contendo os passos do processo. Ainda, a comissão é acompanhada por um funcionário da A3ES, que atua como gestor de procedimento.

Ao nível de avaliação externa, a participação dos estudantes pode ser vista de diversas formas como: parceiros, atores-chave, stakeholders, clientes ou consumidores, Conforme a A3ES (2013, p. 43), os estudantes podem ainda participar nos processos de implementação externa da avaliação da seguinte forma:

Na definição e planejamento da avaliação; representação nos órgãos de decisão das agências de avaliação; presença em reuniões promovidas entre as agências e as associações de estudantes; atuando como avaliadores externos (membros das comissões); colaborando na redação do relatório de avaliação externa e participando em ações de follow-up.

A acreditação ocorre com base na avaliação interna e na avaliação externa e é o procedimento pelo qual a Agência verifica e reconhece formalmente que determinados ciclos de estudos e ou instituição de ensino superior reúnem as condições de organização e apresentam os padrões de qualidade de desempenho exigidos para a certificação da qualidade por meio da acreditação. A formulação de um pedido de acreditação está intimamente relacionada à avaliação, pois implica a abertura automática de um procedimento de avaliação, tendo por objeto a IES ou o ciclo de estudos a que se destina o procedimento de acreditação.

Em relação ao desenvolvimento da auditoria institucional, as instituições devem instituir, obrigatoriamente, um sistema interno de garantia da qualidade do seu desempenho e dos ciclos de estudos ministrados visando uma cultura interna de qualidade, o qual é objeto de certificação pela Agência mediante a realização de prévia auditoria. Portanto, por meio de uma avaliação externa é verificado se o referido sistema interno está em conformidade com os objetivos enunciados, se é eficaz e adequado ao seu propósito. Avalia, também, os procedimentos utilizados pela instituição para gerir e melhorar a qualidade do seu ensino e demais atividades.

O modelo adotado para a auditoria institucional segue as quatro fases habituais nos processos da garantia externa da qualidade; ou seja: preparação de um relatório de autoavaliação por parte da instituição; visitas in loco por parte da comissão de auditoria; preparação de um relatório de auditoria, tomada de decisão e divulgação do relatório.

O gestor de procedimentos, que integra a comissão, assegurará os contatos entre a comissão e a instituição ao longo das diferentes fases do processo. De acordo com o referido manual (A3ES, 2007, p. 19) “o Conselho de Administração da Agência é quem toma a decisão em termos de certificação, não certificação ou certificação condicional” do sistema interno de garantia da qualidade da IES, com total independência, baseando-se no relatório final da comissão. A certificação do sistema é válida por seis anos e em caso de certificação condicional, em três meses a IES deverá apresentar um plano de ação calendarizado, como relatórios anuais de progresso no período fixado para a condicionalidade.

No site da Agência encontra-se o documento “Manual para o processo de Auditoria”, no apêndice I, contém os dez (10) referenciais consolidados com os padrões europeus e os requisitos legais aplicáveis. De acordo com Patacho (2013, p. 576):

As peças deste gigantesco puzzle estão agora a aproximar-se: currículo único e obrigatório, metas educativas, exames nacionais em todos os ciclos, avaliação externa nas IES cuja gestão deve ser orientada para os resultados, avaliação de desempenho docente em função dos resultados, ranking de escolas, gestão das IES com base em critérios de eficiência, eficácia e competição, ênfase na liderança unipessoal, políticas avaliativas orientadas numa ótica de prestação de contas, encerramento de IES, formam parte de um todo forjado ao longo das últimas décadas e que o governo se propõe agora unificar.

Portanto, como em outras nações europeias, no andar das reformas do Estado, Portugal também substitui seu sistema de avaliação da qualidade por um Sistema de Avaliação e Acreditação, no qual o componente de melhoria da qualidade sobressai à ênfase na regulação por meio de padrões, centralmente definidos pelo Espaço Europeu de Ensino Superior, onde está o elenco das agências de avaliação e acreditação na União Europeia.

Adiante, leva-se em conta o conjunto de elementos históricos, culturais e políticos que permitirão visualizar os pontos de similaridade, heterogeneidade e ou complexidade entre os sistemas estudados.

4 Sinais de similaridade, heterogeneidade e ou complexidade?

Em ambos os contextos, analisando as reformas do ensino superior, nota-se que ocorreram em paralelo com a reforma do Estado, o que favoreceu a atuação do livre do mercado, além do processo de mercadorização das relações sociais.

Por conta disso, é importante estabelecer-se uma discussão em torno dos modelos de avaliação e os respectivos instrumentos implementados pelos dois países e os seus efeitos. Normalmente a avaliação se desenvolve considerando três conceitos bem demarcados; a avaliação somativa, a formativa e a diagnóstica. Nesse contexto ainda podem existir três tipos: heteroavaliação; autoavaliação e avaliação mista ou coavaliação, denominada, também de bi-etápica (ESTRELA; VEIGA SIMÃO, 2003, p. 107).

A heteroavaliação (avaliação externa) é implementada por alguém de fora da IES (agências ou governos) e objetiva a regulação, o controle e a supervisão em busca da eficiência, produtividade e o ranqueamento para fins de comparabilidade. A avaliação interna (autoavaliação) é um processo construído e implementado pelos atores da comunidade, busca valorizar os problemas que ocorrem no interior das IES por meio da autoavaliação numa perspectiva de efetiva mudança. Ainda, o desenvolvimento de ambas as avaliações, interna e externa, é também chamado de avaliação mista, de conjunto ou de coavaliação.

Importante evidenciar que existem ainda as avaliações do tipo Top-down e Botton-up. Na primeira, as decisões são tomadas de cima para baixo sem a participação de todos da organização; com a cúpula decidindo o que fazer e como fazer. A vantagem é a rapidez, na medida em que os planejadores rapidamente executam o processo. Já a desvantagem ocorre com os problemas e conflitos no momento da implementação, visto que não houve participação dos níveis inferiores.

Na segunda, o processo de tomada de decisão ocorre de baixo para cima, no qual todos participam. A vantagem está na participação de todos, pois leva a uma fácil implementação. A desvantagem é que será um processo mais demorado pelo número de pessoas envolvidas, podendo fazer com que estratégias formuladas naquele momento não tenham mais sentido quando da implementação. Misto é um meio termo entre Top-down e Botton-up, com a montagem da equipe com pessoas das mais diferentes áreas da organização.

No entanto, apesar desses tipos fazerem parte do escopo teórico das referidas propostas, na prática não há equilíbrio entre os pilares avaliativos, haja vista que prepondera a concepção de avaliação externa (heteroavaliação) e quantitativa, mesclada em ações burocráticas e gerenciais.

Importante evidenciar que há entre os sistemas uma convergência na divergência; uma vez que carregam algumas semelhanças. No entanto, isto ocorre quase sempre pela implementação de estratégias diferentes, o que é compreensível em sistemas com percursos diferentes, porém de agendas semelhantes expressadas na garantia da qualidade e prestação de contas à sociedade.

Ambos os sistemas têm órgãos fortes de condução, sendo que no Brasil uma autarquia ligada ao Estado é que detém o controle do sistema, enquanto que em Portugal é uma fundação de direito privado.

Quanto à abrangência, apesar de o SINAES denominar-se sistema nacional, não atinge o ensino superior ofertado pelos sistemas estaduais e municipais, inversamente, em Portugal, a Agência, atualmente, é reguladora de todo o tipo de ensino superior ofertado no país.

Em ambos os países, ao final de cada ciclo avaliativo, as IES devem solicitar a renovação de seu credenciamento/acreditação junto ao órgão competente, porém enquanto no Brasil a validade é de cinco anos para faculdades e centros universitários e dez anos para as universidades, em Portugal é de seis anos para as universidades.

Tem-se presente, pois que em Portugal a acreditação, ao ter como objetivo a garantia da qualidade, se constrói sobre a experiência da avaliação institucional. Por conseguinte, compreende-se que a auditoria institucional impõe a função de acompanhar o fluxo da avaliação interna, visando à garantia de um controle maior sobre os cursos, os ciclos de estudos, os acadêmicos, as carreiras profissionais e as IES.

Contudo, observa-se que ambos os sistemas se constituíram e se consolidaram, exclusivamente, utilizando-se de relações legislativas, pois se verifica que depois do SINAES no Brasil e da A3ES em Portugal, práticas da administração burocrática e da administração gerencial aumentaram, consideravelmente, em função da eficácia de cada uma no alcance da máxima eficiência dos sistemas avaliativos instaurados.

Na trajetória dos dez anos do SINAES observa-se que pouco resta do escopo teórico de viés emancipatório que deu sustentação a sua origem, visto que um conteúdo de caráter mais técnico e legal passou a ser a linha de ação do Ministério da Educação, fato que, praticamente, anula “o equilíbrio entre o pilar da emancipação e da regulação” (SANTOS, 2004, p. 19), por onde é favorecido o processo de regulação estatal, com base na avaliação externa, interrompendo a construção de um processo participativo. Para (DIAS SOBRINHO, 2008, p. 4), isso é “próprio de posturas e enfoques do paradigma técnico-burocrático”.

No Brasil, o Sistema coloca ênfase no instrumento aplicado aos estudantes (ENADE), caracterizando-se como o principal determinante dos indicadores de desempenho dos cursos e das instituições. “Por muito bem que se achem construídos, tecnicamente, os indicadores só são úteis na medida em que se aceitem os pressupostos” (ANGEL, 1996, p. 59).

Do ponto de vista português, na prática como está sendo implementado o Sistema de Avaliação e Acreditação, também ocorrem contradições, visto que o próprio projeto do governo português que criou a A3ES (PORTUGAL, 2007b, p. 3) destaca a preponderância da exterioridade por meio da heteroavaliação como garantia da independência, do rigor e da objetividade do processo de avaliação, sem aparecer nenhum questionamento de tal concepção de avaliação, como se essa fosse a única saída. Para Figari e Tourmen (2006, p. 2).

Parece, na verdade, que a maior distância geográfica, cultural, linguística etc., permitirá a emissão de juízos de valor objetivos, incontaminados pelo contexto e pelas relações coisas. No mesmo sentido, os objetos a avaliar são representados como dados captáveis em toda a sua pureza ou em estado bruto, não sendo o resultado de um processo de construção pelos avaliadores, modelizados em função de um sistema de referenciais que é sempre, por definição, política e convencional.

Lima, Azevedo e Catani (2008, p. 19) localizam esta questão no processo de despolitização de relações complexas centradas na nova gestão pública, porque estão manifestadas “nas exigências de medição e comparação, de benchmarking, de ratings e de ranking”, obtidas por meio de novos instrumentos avaliativos rotineiros da atividade econômica, como: auditoria, acreditação, fiscalização.

Em Portugal, um sistema de garantia de qualidade faz parte do regime jurídico da avaliação do ensino superior, pelo qual o Governo português instituiu parâmetros de avaliação de qualidade, que incluem o ensino, a qualificação docente, a estratégia para a garantia da qualidade do ensino, a atividade científica, tecnológica e artística, de acordo com a missão da instituição e a cooperação internacional. No sistema brasileiro, questões atinentes à internacionalização e à tecnologia recém começam a ser incluídas como um indicador necessário nos instrumentos de avaliação.

Outro diferencial é que o sistema português inclui, obrigatoriamente, em uma fase de seu processo, entidades externas, ordens e associações profissionais e públicas, além da obrigatoriedade de, pelo menos, um perito internacional da área nas comissões in loco; já no sistema brasileiro não há exigências similares.

Em Portugal, desde 2007, foi criado um sistema que relaciona avaliação e acreditação, no Brasil, pouco se conhece sobre acreditação, a não ser a experiência de Acreditação Mercosul da Rede de Agências Nacionais de Acreditação (RANA), ligada ao Sistema de Acreditação Regional de Cursos de Graduação do Mercosul (Arcu-Sul), que avalia profissões e carreiras de algumas universidades e áreas nobres do conhecimento de IES pertencentes ao MERCOSUL.

Frente a tantas questões, similares, heterogêneas e ou complexas na vigência de ambos os sistemas, acredita-se que o impacto do resultado desses processos na qualidade da educação superior tem sido variado e diversificado, haja vista a perda gradativa do maior patrimônio das nossas universidades: a autonomia.

5 (In) conclusões

A noção de que toda a avaliação é produzida em situações específicas e concretas, e de que parte de um contexto estruturado de valores que se justificam e dão sentido a sua formulação, não passou despercebida nesta retrospectiva.

Sem dúvida, observa-se ter ocorrido substancial modificação na relação Estado versus ensino superior, em função da emergência das políticas neoliberais e na massificação dos sistemas de ensino superior, aliados ao uso dos mercados como instrumento de política pública.

A pressão exercida pelo neoliberalismo sobre as instituições, por meio de diferentes instrumentos de avaliação interna e externa, tem se traduzido na perda de autonomia ou no fenômeno denominado de Top-Down, pois não há envolvimento direto dos membros da comunidade nas decisões, como existiria na avaliação institucional emancipatória (Botton-up). Esse sistema denominado Top-Down parece caracterizar o que Mahony (1994, p. 74) diz que “é a liberdade de fazer o que o governo quer”.

No Brasil, já se teve a experiência do PAIUB, o qual deu início ao desenvolvimento de uma cultura da avaliação tendo a sua titularidade pertencente à comunidade universitária. Contudo, é importante evidenciar que era um programa voluntário e que não abrangia a totalidade da educação superior brasileira.

Como estão postos, os sistemas se configuram como poderosos agentes regulatórios concebidos por meio de instrumentos capazes de moldar metodologias para medir o trabalho acadêmico. Para Nauta et al. (2004, p. 19), esses processos servem para que as instituições consigam “atingir maiores níveis de financiamento” por parte dos governos e outras fontes externas.

Na ideia de De La Orden (1993, p. 16), deveriam ser um indutor para a busca de “indicadores que definam a qualidade da universidade por um conjunto de relações de coerência entre os componentes de um modelo sistêmico de universidade”.

Fica evidente que ambos os países afirmam a opção pelo modelo misto de avaliação, porém, na prática, não há valorização da autoavaliação como instrumento potencializador do sistema avaliativo. Como apontou esse estudo, no Brasil e em Portugal, as avaliações são do tipo Top-down, com perda de autonomia e liberdade acadêmica.

O uso dos instrumentos de avaliação externa, em ambos os países são estandardizados, revelam-se convergentes em alguns pontos, porém é possível enfatizar que estão estruturados, politicamente, para a busca de mercados, o que exige mensuração, comparação e competitividade através de indicadores nacionais e internacionais comparáveis e aceitos por todas as instituições.

É flagrante que os governos estão a proceder por meio de seus sistemas de avaliação a uma classificação de programas, de cursos ou de instituições, cujos desempenhos são comparados fator a fator, financiando um ranking.

Os sistemas estudados perseguem o mesmo objetivo: a garantia da melhoria da qualidade e a prestação de contas (accountability), por meio de instrumentos de caráter diferenciados, complementares e equivalentes, o que tem garantido a forte capacidade reguladora do Estado brasileiro e português sobre a educação superior.

Referências

• ANGEL, DEL DUJO G. Evaluación y Calidad de la Enseñanza Universitaria: Evaluación de qué o calidad para quién. In F. J., Tejedor e J. L., Rodríguez Diéguez, eds. Evaluación Educativa II. Evaluación Institucional. Fundamentos Teóricos y Aplicaciones Prácticas Salamanca, Instituto Universitario de Ciencias de la Educación IUCE, 1996.
• AMARAL, A. Tendências recentes dos sistemas de avaliação do ensino superior na Europa. Sísifo, Revista de Ciências da Educação, Lisboa n. 12, maio/ago., 2010.
• BRASIL.MEC. Programa de avaliação Institucional das universidades brasileiras. (PAIUB). Comissão Nacional. Brasília. 1993.
• BRASIL.MEC. Lei n. 9394/1996, de 20 de dezembro. Trata das diretrizes e bases da educação nacional. Brasília. 1996.
• BRASIL.MEC. Lei n. 10.861/2004, de 14 de abril. Trata do Sistema Nacional da Educação Superior. Brasília. 2004.
• CARR, S; HAMILTON, E.; MEADE, P. Is it possible? Investigating the influence of external quality audit on university performance. Quality in Higher Education, Carleton University, Canadá, v. 11, n. 3, 2005.
• DECLARAÇÃO DE BOLONHA. Disponível em:< http://www.mtces.pt/docs/ficheiros/Declaração_de_Bolonha.pdf 1999>. Acesso em: 10 junho de 2014.
  » http://www.mtces.pt/docs/ficheiros/Declaração_de_Bolonha.pdf 1999
• DE LA ORDEN, A. Calidad y evaluacion de la enseñanza universitária: Conferência na Faculdade de Psicologia e de Ciências da Educação da Universidade de Lisboa. Lisboa. 1993
• DIAS SOBRINHO, J. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas. Sorocaba, v. 13. n. 3, 2008.
• DILL, D. Higher Education markets and public policy. Higher Education Policy, Carolina do Norte USA v. 10, n. 3-4, 1997.
• ENQA. Standards and Guidelins for quality Assurance in the European Higher Educaction.2006 Disponível em: <Disponível em: http://www.enqa.eu/pubs. Iasso 2006 >. Acesso em: 28 jun. 2014.
  » http://www.enqa.eu/pubs. Iasso 2006
• ESTRELA, M. T; SIMÃO VEIGA, A. M. Algumas reflexões sobre práticas de avaliação do ensino universitário e dos docentes a partir da informação recolhida no projecto EVALUE. Revista Portuguesa de Educação, Minho, v. 16, n. 1, 2003.
• FIGARI, G; TORMEN, C. La référentialisation: une façon de modéliser l evaluation de programme, entre théorie et pratique. Mesure et Èvaluation en education, Canadá, v. 29, n. 3, 2006.
• LIMA, L.; AZEVEDO, M. L. N de; CATANI, A. O Processo de Bolonha, a avaliação da educação superior e algumas considerações sobre a Universidade Nova. Avaliação. Campinas, Sorocaba, v. 13, n. 1, mar. 2008.
• MAHONY, D. Government and the universities: The new mutuality in Australian Higer Education - a national casa study. Journal of higher education, Austrália,2 651994.
• NAUTA, P. et al. Accreditation models in higher education. Helsinki ENQA - European Association for Quality Assurance in Hugher Education,2004.
• OCDE. Reviews of National Policies for Education. Tertiary Education in Portugal. 2006 Disponível em: <Disponível em: http://mctes.pt/docs/ficheiros/OCDE_124_paginas_pdf,2006 >. Acesso em: 12 jul. 2014.
  » http://mctes.pt/docs/ficheiros/OCDE_124_paginas_pdf,2006
• PATACHO, P. M. Mercantilização da educação: tendências internacionais e as politicas educativas em Portugal. Currículo sem fronteiras, v. 13, n. 3, p. 561-587, set./dez. 2013.
• POLIDORI, Marlis Morosini. Avaliação do Ensino Superior: uma visão geral e uma análise comparativa entre os contextos brasileiro e português. 2000. 547 f. Tese (Doutorado em Educação) - Faculdade de Psicologia e de Ciências da Educação, Universidade do Porto, Porto, 2000.
• POLIDORI, Marlis Morosini. Políticas de avaliação da Educação Superior Brasileira: Provão, SINAES, IDD, CPC, IGC e outros índices. Avaliação. Campinas Sorocaba, v. 14, n. 2, p. 439-452, jul. 2009.
• PORTUGAL A3ES. Agência de avaliação e Acreditação da Educação Superior .. Normas para avaliação externa. 2007. Disponível em: <Disponível em: http://www.a3es.pt/pt/avaliaçãoenormasparaacreditação/normas-para-avaliacao >. Acesso: em 04 jul. 2014.
  » http://www.a3es.pt/pt/avaliaçãoenormasparaacreditação/normas-para-avaliacao
• PORTUGAL. A3ES. Agência de avaliação e Acreditação da Educação Superior. Manual de Avaliação e Acreditação. 2013. Disponível em: < http://www.a3es.pt/pt/avaliaçãoenormasparaacreditação/normas-para-avaliacao>. Acesso: em: 10 ago. 2014.
  » http://www.a3es.pt/pt/avaliaçãoenormasparaacreditação/normas-para-avaliacao
• SANTOS, B. S. A universidade no século XXI: para uma reforma democrática e emancipatória da universidade. São Paulo, Cortez, 2004.
• SARRICO, C. A3ES Gabinete de Estudos e Análise. Indicadores de desempenho para apoiar os processos de avaliação e acreditação de cursos .. 2010. Disponível em: <http://www.a3es.ptpt>. Acesso em: 12 jul. 2014.
  » http://www.a3es.ptpt
• TROW, M. Trust, Markets and accountability in higher education: a comparative perspective. Higher education policy, Berkeley, v.9 4 1996.

• 1
  Este Programa foi criado em 1993 como uma resposta das universidades brasileiras ao desafio de implantar um sistema de avaliação institucional centrada na graduação, organizada pelas próprias instituições, sob a coordenação da Associação Nacional dos Dirigentes das IFES (ANDIFES).

• 2
  Importante destacar que, de acordo com a dinâmica do SINAES, é possível que uma avaliação de reconhecimento de curso ocorra pela primeira vez mesmo em caso de faculdades devido a autonomia que os indicadores estão dispensando às IES.

Datas de Publicação

• Publicação nesta coleção
  Jan-Apr 2017

Histórico

• Recebido
  15 Maio 2015
• Aceito
  07 Dez 2015