Meta-avaliação: uma década do Processo de Avaliação Institucional do SINAES

Metaevaluation: a decade of Institutional Evaluation Process of SINAES

Resumo

O estudo apresenta a meta-avaliação do Processo de Avaliação Institucional das IES Brasileiras via SINAES, de 2004 a 2014, considerando o acompanhamento e a revisão do sistema. Foram analisadas as IES que finalizaram o seu Processo de Avaliação Institucional e que tiveram seu recredenciamento publicado no Diário Oficial da União em 2014, totalizando 66 universidades. Resultados indicam que as privadas não tiveram média conceitual abaixo do nível satisfatório de qualidade em nenhuma Dimensão. As públicas obtiveram média conceitual insatisfatória na Dimensão 1 – Missão e PDI e na 8 – Planejamento e Auto-avaliação. A meta-avaliação é oportuna e necessária, qualificando o processo numa perspectiva somativa.

Palavras-chave
Meta-avaliação; Processo de avaliação institucional; Dimensões institucionais

Abstract

Abstract: This research presents the metaevaluation of Brazilian Superior Education Institutes’ Institutional Evaluation Process, from 2004 to 2014, regarding keeping the system up as well as its revision. It has been chosen to study the 66 Universities – public and private – that had their reaccreditation publicized in the Federal Official Press in 2014. The results indicated that private universities haven’t had any grade above the satisfactory level of quality at all the Dimensions. On the other hand, the public ones got grades under satisfying level of quality on the First Dimension – Mission and “PDI” – and also on the Eighth Dimension – Planning and Evaluation. The metaevaluation is opportune and necessary as from an appreciative view.

Keywords
Metaevaluation; Institutional evaluation process; Institutional dimensions

1 Introdução

A avaliação traz em sua essência uma concepção diagnóstica. Por meio da avaliação é possível saber se os objetivos traçados foram atingidos de forma parcial ou integral, se as ações realizadas e os serviços prestados promoveram resultados satisfatórios às demandas dos envolvidos ou beneficiados; enfim, se o objeto avaliado revelou seu mérito e seu valor (SCRIVEN, 1991). Em outras palavras, busca-se saber se o objeto avaliado atende aos critérios estabelecidos pelos avaliadores, ou ainda, sugeridos pelos interessados nos resultados da avaliação (ELLIOT, 2011).

Luckesi (2010) avança no conceito e define a avaliação como um julgamento de valor sobre a realidade, tendo em vista uma tomada de decisão. O julgamento de valor refere-se a uma afirmação qualitativa, a partir de critérios pré-estabelecidos, sendo a realidade delimitada pelo nível de qualidade efetivamente esperada.

Quando se trata de avaliar instituições, a avaliação torna-se mais complexa, abrangendo todas as dimensões institucionais de forma sistemática. Nessa perspectiva, Belloni (2003, p. 15) entende a avaliação como “um processo sistemático de análise de uma atividade, fatos ou coisas que permite compreender, de forma contextualizada, todas as suas dimensões e implicações, com vistas a estimular seu aperfeiçoamento”. Para a autora, a avaliação institucional deve acontecer de modo global, onde processos, ações e resultados são analisados de forma histórica e socialmente contextualizada. Sendo assim, envolve múltiplas observações e a utilização de instrumentos e critérios coerentes com o objeto examinado ao longo do processo, levando em conta suas características e particularidades.

Portanto, à luz dessas considerações e conceitos, compreende-se a avaliação institucional como um processo que tem por objetivo contribuir para a elevação do nível de qualidade da educação superior. E no âmbito do Sistema Nacional de Avaliação da Educação Superior o momento parece propício, diante dos recentes dez anos de criação do Sistema.

Sendo assim, este estudo apresenta uma meta-avaliação do Processo de Avaliação Institucional das Universidades Brasileiras, promovido pelo SINAES, no período de 2004 à 2014, considerando o acompanhamento e a revisão do sistema. Inicialmente faz-se considerações sobre a avaliação da educação superior e sobre Meta-avaliação. Após, apresenta-se os caminhos metodológicos traçados na pesquisa e as respectivas categorias analíticas. Na sequência, os resultados são apresentados por IES e por dimensões institucionais. Após, conclui-se com considerações finais para o aperfeiçoamento deste sistema. Por fim, as referências relacionam as principais fontes de consulta deste estudo.

2 Fundamentação Teórica

2.1 Avaliação da Educação Superior no Brasil

A expansão da educação superior, sobretudo a partir da década de 90, com a criação de milhares de instituições de caráter privado (BARREYRO, 2006), colocou em evidência a qualidade do ensino, a função e o papel das Instituições, tornando-se oportuno e necessário uma análise das mesmas, dado o seu relevante papel no desenvolvimento do Brasil.

A avaliação, uma vez reconhecida pela sua relevância como instrumento de apoio à gestão, passou a ser institucionalizada nas universidades brasileiras, transferindo a discussão inicial a respeito da necessidade de sua realização, para a discussão sobre como executá-la, ou melhor, sobre qual seria a metodologia que melhor retratasse o desempenho das universidades na promoção do desenvolvimento social, cultural, político, econômico e tecnológico do país (FREITAS; SILVEIRA, 1997).

Das propostas iniciais até aos dias de hoje, o assunto ganhou profundidade, ampliou-se o número de especialistas no tema e a avaliação tornou-se um instrumento necessário para o processo sistemático de análise, acompanhamento e orientação das atividades desenvolvidas.

Contudo, a avaliação não é tema recente no Brasil. A mais antiga experiência de avaliação da educação superior no país é a dos cursos e programas de pós-graduação, desenvolvida desde 1976 pela Comissão de Aperfeiçoamento de Pessoal de Ensino Superior - CAPES. No âmbito da graduação, as primeiras iniciativas de avaliação no país tiveram início nos anos 80, até se constituírem como pilar principal da agenda política educacional nos anos 90 (PEIXOTO, 2011).

Os anos de 1993 e 1994 foram históricos no tocante à avaliação, visto que nesse biênio foram criadas propostas concretas. Sob a coordenação da Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior - ANDIFES, diversas Instituições elaboram um projeto de interesse do Ministério da Educação - MEC, denominado Programa Nacional de Avaliação. No ano de 1993, ocorreu a criação do Programa de Avaliação Institucional das Universidades Brasileiras - PAIUB e a adoção do Documento Básico de Avaliação das Universidades. Em 1994, iniciou o processo de avaliação do PAIUB, estabelecendo uma nova forma de relacionamento com o conhecimento e a formação, fixando um diálogo com a comunidade acadêmica e com a sociedade (BARREYRO, 2006).

Em 1995, por meio da Lei n° 9.131, deu-se o fim do apoio efetivo ao PAIUB e a criação, pelo MEC, de um novo mecanismo de avaliação: o Exame Nacional de Cursos - ENC, conhecido como Provão, realizado por concluintes de cursos de graduação. Essa fase marcou o início da crescente ampliação do poder regulador federal para o controle das atividades de ensino superior. Os resultados do Provão foram amplamente divulgados na mídia impressa e televisiva, funcionando como instrumento de classificação das Instituições de Ensino Superior e de estímulo à concorrência entre elas (BRASIL, 2009).

Em 2003, uma proposta de avaliação foi apresentada pela Comissão Especial de Avaliação - CEA. O documento possuía o seguinte subtítulo: “Bases para uma proposta de avaliação da educação superior” e nele estava a idéia de que não era uma proposta pronta, acabada, mas a base para a construção do sistema que temos hoje, o SINAES (CEA, 2003).

O Sistema Nacional de Avaliação da Educação Superior (SINAES), formulado pelo CEA, foi resultado de amplo debate no MEC, no fórum de reitores e pró-reitores, nos sindicatos, nas sociedades científicas, na mídia, na academia, no parlamento e na sociedade em geral, surgindo daí contribuições significativas (BRASIL, 2009). As consultas e audiências públicas resultaram em tensões entre os defensores de paradigmas conflitantes: avaliação emancipatória e formativa versus avaliação de resultados e de controle externo. Segundo Silva e Gomes (2011), esse momento foi o reflexo das disputas entre modelos de avaliação implementados na década de 90 – PAIUB e ENC.

Em 14 de abril de 2004, institui-se o SINAES por meio da Lei nº 10.861. No artigo 1º (§1º) desta legislação aparece como finalidade do sistema a melhoria da qualidade da educação superior por meio da: integração, participação, promoção de valores democráticos, respeito à diversidade, busca da autonomia, afirmação da identidade e dimensão formativa (BRASIL, 2004a). O SINAES, então, apresenta uma concepção de avaliação que se constitui em instrumento de política educacional, voltada para a construção e consolidação da qualidade, da participação e da ética na educação superior, respeitando às diferentes identidades institucionais e regionais.

A proposta do SINAES imprime coerência em um conjunto de pressupostos e premissas que lhe serve de fundamentação conceitual e política. Os princípios, segundo o SINAES (BRASIL, 2009), que norteiam o atual sistema de avaliação são: educação como um direito social e dever do Estado; reconhecimento dos valores sociais historicamente determinados; aspectos da regulação e controle; preocupação com a prática social e com objetivos educativos; respeito à identidade e às diversidades institucionais; visão e preservação da globalidade; importância da legitimidade; e, continuidade do processo.

Conforme Ristoff (2011), o Sistema incorporou grande parte dos princípios e diretrizes do PAIUB, tais como o compromisso formativo da avaliação, a globalidade, a integração orgânica da auto-avaliação com a avaliação externa, a continuidade, a participação ativa da comunidade acadêmica, o respeito à identidade institucional e o reconhecimento da diversidade do sistema.

Para Dias Sobrinho (2010) com o advento do SINAES, a educação transcendeu o desempenho estudantil em forma de provas estáticas, como era o caso do Provão, e passou a buscar significados amplos da formação humana integral, pondo em debate a responsabilidade social da IES. Vislumbra-se no entendimento do autor um outro paradigma de avaliação onde o foco central está na instituição como um todo, recuperando o conceito mais complexo da educação superior, cuja finalidade essencial é a formação de cidadãos com capacidade de reflexão crítica e cuja referência central é a sociedade.

Nessa perspectiva, a referência é a sociedade, e a educação deixa de ser concebida como mercadoria, haja vista que o objeto de sua avaliação vai muito além da capacitação para o mercado de trabalho. Assim, o objetivo principal da educação superior passa a ser o cumprimento do mandato social, no que se refere à formação de cidadãos dotados de qualidades ético-políticas e de competências profissionais demandadas pela sociedade. Sendo assim, “o foco central da avaliação da educação superior é “jogar luz” sobre o trabalho de formação de sujeitos e da produção e socialização de conhecimentos de cada IES, tendo em vista o avanço da ciência, da democracia e da sociedade” (DIAS SOBRINHO, 2010, p. 209).

Dessa forma, opondo-se a perspectiva meramente reguladora, controladora e articulada com os princípios mercadológicos, o SINAES abriu espaço para uma avaliação formativa, propôs uma avaliação emancipatória, comprometida com o desenvolvimento autônomo das instituições, no sentido de efetivar mecanismos e processos que garantissem a promoção do ser humano na constituição de uma sociedade mais justa e democrática.

A sistemática de avaliação estabelecida pelo SINAES é baseada em três processos:

1. Avaliação das Instituições de Educação Superior - AVALIES

2. Avaliação dos Cursos de Graduação - ACG

3. Avaliação do Desempenho dos Estudantes - ENADE

Estes processos, na perspectiva de constituírem um Sistema, estão ligados e articulados entre si. Buscam captar indicadores de qualidade, em distintos níveis e enfoques, cujos resultados são analisados de modo sistemático e integrado, oferecendo elementos fundamentais para a avaliação das instituições e do sistema de educação superior.

Como elemento central e integrador desse conjunto tem-se a Avaliação Institucional, cujo foco principal do processo avaliativo são as Instituições de Educação Superior. A avaliação desse processo é pautada em três aspectos (BRASIL, 2009):

1. o objeto de análise é o conjunto de dimensões, estruturas, relações, atividades, funções e finalidades de uma IES;

2. os sujeitos da avaliação são o conjunto de professores, estudantes, funcionários e membros da comunidade externa; e,

3. os processos avaliativos, interno e externo, são realizados em perfeita sintonia, seguindo os procedimentos e intrumentos de avaliaçao institucional.

Diante do exposto, percebe-se que em relação à educação superior, a avaliação institucional é um instrumento imprescindível, pois envolve a aferição da realidade e a revisão das políticas e práticas administrativas e pedagógicas.

2.2 Considerações sobre Meta-avaliação

Ao considerar-se a avaliação como um processo que favorece a tomada de decisão, e, especificamente no caso da avaliação institucional, com o intuito de assegurar o nível de qualidade desejado para a educação superior, entende-se a necessidade de uma reavaliação contínua desse processo. Nesse sentido, Gimenes (2007, p. 227) contribuiu quando destaca que “os diferentes processos avaliativos não se encerram nas conclusões de seus relatórios ou nas ações realizadas a partir de seus resultados”. E ao corroborarmos com este autor, entendemos que a meta-avaliação pode contribuir para a melhoria e o aperfeiçoamento das políticas e ações institucionais por meio de um acompanhamento e de uma revisão permanente e sistemática do objeto avaliado.

Meta-avaliação foi definida por Scriven (1991), como sendo a avaliação de uma avaliação. Na realidade, é a verificação do nível de qualidade da própria avaliação à luz de diversos critérios. Segundo Cotera e Matamoros (2011), a meta-avaliação avalia o nível de qualidade com que se desenvolveu o processo de avaliação e a suficiência do sistema de avaliação. Num primeiro nível, determina forças e fraquezas que não foram detectadas pela avaliação primária. Num segundo nível, ratifica ou não os princípios em que se inspira a política avaliativa: a pertinência, a justiça e o caráter participativo da avaliação.

Os procedimentos apropriados para a realização de meta-avaliações podem variar de acordo com o tipo da avaliação realizada e das possibilidades para a sua execução. Talvez o marco de referência conceitual mais conhecido seja o produzido pelo Joint Committeeon Standardsfor EducationalEvaluation. Essa obra, referência na área, desde 1975, oferece padrões não só para a elaboração e execução de avaliações, como também para a realização de meta-avaliações. De acordo com o Joint Committee (JCSEE, 2011, p. xxii), os Padrões de Avaliação “identificam e definem a qualidade da avaliação e guiam os avaliadores e usuários a perseguir essa qualidade”.

Cabe salientar que, por definição, a meta-avaliação que ocorre após o término da avaliação, é caracterizada dentro de uma abordagem somativa, ou seja, depois que todo o processo avaliativo já ocorreu (DIAS SOBRINHO, 2003). Nesse tipo de abordagem, o meta-avaliador lida com relatórios prontos e pode também utilizar bancos de dados coletados, documentação analisada, registros feitos e depoimentos obtidos; enfim, todo o material disponível que retrate a avaliação desenvolvida.

A avaliação de natureza formativa, por sua vez, é aquela que ocorre durante o processo avaliativo, por meio de um acompanhamento contínuo e sistemático, possibilitando revisão e aperfeiçoamento do método e dos instrumentos em tempo real, assim como identificação dos problemas e utilização dos resultados (DIAS SOBRINHO, 2003).

No caso da meta-avaliação somativa, que focaliza a avaliação já concluída e seus relatórios, o meta-avaliador poder precisar julgar toda a avaliação realizada por meio de documentos e/ou relatórios e também buscar outras informações suplementares com os participantes ou envolvidos no processo avaliativo. E esta foi a metodologia adotada neste estudo.

3 Procedimentos Metodológicos

Segundo Marconi e Lakatos (2007), a pesquisa científica é dimensionada em três aspectos: histórica, descritiva e experimental. As autoras afirmam que a pesquisa descritiva está baseada em processos de descrição, registro, análise e interpretação de fenômenos atuais. Logo, este estudo pode ser considerado descritivo, visto que discorre sobre o Processo de Avaliação Institucional do Sistema Nacional de Avaliação da Educação Superior Brasileira, considerando uma década de existência do SINAES, visando realizar uma meta-avaliação do mesmo, com o intuito de julgar o seu mérito e o seu valor.

A operacionalização dos objetivos desta pesquisa foi realizada por meio de um estudo de abordagem qualitativa, desenvolvido em duas etapas. A primeira se constituiu de uma pesquisa teórica e a segunda de uma pesquisa empírica.

A pesquisa teórica caracteriza-se, pelos seus objetivos, como exploratória e descritiva e teve a finalidade de construir o quadro teórico-conceitual deste estudo. Pelos seus procedimentos, é uma pesquisa bibliográfica e documental. A pesquisa empírica caracteriza-se, pelos seus objetivos, como avaliativa e, pelos seus procedimentos, como documental, com delineamento analítico-interpretativo baseado em análise de conteúdo, visto que realizou uma contextualização da realidade e uma descrição detalhada do objeto de estudo.

3.1 Configurando o Campo

Por meio do Sistema Eletrônico do MEC é possível obter um mapeamento das Instituições de Educação Superior no Brasil. O link que dá acesso ao Sistema e-MEC possibilita a consulta por tipo de IES, classificando-as por Organização Acadêmica, ou seja, faculdades, centros universitários e universidades. Para fins deste estudo optou-se por analisar o Processo de Avaliação Institucional das Universidades Brasileiras.

A consulta foi realizada no site do Ministério da Educação (MEC), pelo acesso dos links Conselho Nacional de Educação (CNE) e Câmara de Educação Superior (CES). A busca foi feita nos Relatórios do CNE/CES, no período de 2004 à 2014, por meio das seguintes palavras chaves: “credenciamento + universidade” e “recredenciamento + universidade”, tendo em vista que o “credenciamento” e o “recredenciamento” são os dois produtos oriundos da avaliação institucional e a “universidade” foi o tipo de IES escolhida, de acordo com a classificação por Organização Acadêmica, para fazer parte desta pesquisa. Também buscou-se pelas seguintes palavras chaves: “descredenciamento + universidade”, pois entendeu-se que essa possibilidade existia e que seria interessante relatá-la, embora nenhum Relatório tenha resultado da busca.

A seguir relaciona-se a classificação destas por Categoria Administrativa.

Tabela 1

Tabela 1
- Quantitativo de Universidades no Brasil por Categoria Administrativa

Fonte: E-MEC. BRASIL. Ministério da Educação. 2014. Disponível em: http://emec.mec.gov.br/. Acesso em: 14.04.2014.

Cabe salientar que o Sistema Federal de Ensino Superior compreende todas as Instituições Públicas Federais e Privadas com ou sem fins lucrativos, estando, portanto, as IES Públicas Estaduais ou Municipais isentas da avaliação imposta pelo SINAES, sendo conduzida pelos respectivos Conselhos de Educação.

Sendo assim, a população deste estudo constitui-se das 63 (sessenta e três) Universidades Públicas Federais e das 95 (noventa e cinco) Universidades Privadas, totalizando 158 (cento e cinquenta e oito) IES, o que corresponde a 80% das Universidades Brasileiras, as quais compõem o Sistema Federal de Ensino Superior.

Todavia, a pesquisa revelou que nem todas as IES finalizaram o seu Processo de Avaliação Institucional e tiveram a sua Portaria de Recredenciamento publicada no Diário Oficial da União até o dia 14/04/2014, data em que a Lei do SINAES completou 10 anos. Essa data foi utilizada como limite para a coleta dos dados deste estudo. Observa-se, então, que para atingir o objetivo central deste estudo o recredenciamento é uma condição essencial que traz confiabilidade e valida a continuidade da pesquisa.

Sendo assim, destaca-se que na data referida, 25 (vinte e cinco) Universidades Públicas Federais e 41 (quarenta e uma) Universidades Privadas encontravam-se na situação acima descrita, totalizando 66 (sessenta e seis) Universidades Brasileiras. Este foi o total de IES investigadas nesta perspectiva de meta-avaliação.

4 Resultados da pesquisa

Para fins de análise é conveniente esclarecer as dez dimensões avaliadas e seus respectivos pesos, conforme apresenta-se a seguir.

Quadro 1

Quadro 1
- Quantidade de Indicadores e Pesos referentes às Dimensões Institucionais

Fonte: BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior – CONAES. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP. Diretoria de Avaliação da Educação Superior – DAES. Sistema Nacional de Avaliação da Educação Superior – SINAES. Instrumento de avaliação institucional externa. Brasília: MEC, 2010. Disponível em: <http://download.inep.gov.br/download/superior/institucional/2010/instrumento_avaliacao_institucional_externa_recredenciamento.pdf>. Acesso em: 20 out. 2014.

O Conceito Institucional é obtido por meio da média ponderada dos conceitos atribuídos às dimensões, visto que as dimensões possuem pesos distintos. Os quadros, a seguir, elucidam os resultados da avaliação institucional por IES e por dimensão. Foram elaborados de modo a facilitar a visualização e a análise comparativa que o SINAES proporciona, não tendo nenhum interesse na classificação e tampouco no rankeamento das IES.

Os Quadros 2 e 3 mostram os resultados da Avaliação Institucional, por IES e por dimensão. forma de avaliação utilizada pelo SINAES, pautada na hierarquia das dimensões, construída em virtude dos seus respectivos pesos. Para fins deste estudo considera-se CI como Conceito Institucional arredondado e C*P como Conceito atribuído a Dimensão vezes o peso da Dimensão.

Quadro2

Quadro 2
- Avaliação Institucional das Universidades Públicas. Conceito Institucional definido pela média ponderada, cfe. avaliação do SINAES

Fonte: os autores

Quadro3

Quadro 3
Quadro 3 - Avaliação Institucional das Universidades Privadas. Conceitos Institucionais definidos pela média ponderada, cfe. avaliação do SINAES

Fonte: os autores

A análise se deu com base nos conceitos atribuídos às Dimensões Institucionais, extraídos dos Relatórios de Avaliação Institucional, o que resulta no Conceito Institucional No tocante às avaliações realizadas, foram analisados o desempenho das Universidades e o desempenho das dimensões de forma comparativa entre as Universidades Públicas e as Universidades Privadas.

4.1 Por Instituição de Ensino Superior - IES

As Universidades Públicas UFRN, UFU, UFSC, UTFPR, UFPE, UFRPE e UFGD não obtiveram, na avaliação, conceito em nenhuma Dimensão Institucional. Essas IES representam 28% das IES Públicas analisadas, ou seja, 7 (sete) das 25 (vinte e cinco). Se não fosse o arredondamento do conceito final, a UFMS e a UFCG não atingiriam o Conceito Institucional = 3, pois obtiveram 2,90 e 2,70, respectivamente, na média ponderada das dimensões institucionais.

Devido aos diferentes pesos das Dimensões Institucionais, houve casos de IES Públicas que obtiveram conceito 1 em alguma dimensão (que representa um nível de qualidade muito aquém do satisfatório) e conceito 2 em outras dimensões (que representa um nível de qualidade aquém do satisfatório), e, ainda assim, obtiveram Conceito Institucional = 3 ou 4. Este é o caso da UFV, que obteve conceito 1 na Dimensão 1 e conceito 2 na Dimensão 4 e na Dimensão 8, e, ainda assim, Conceito Institucional = 4; e, também, da UFES, que obteve conceito 1 na Dimensão 8 e conceito 2 na Dimensão 1 e na Dimensão 9, e, ainda assim, Conceito Institucional = 3.

As Universidades Privadas UNISC, UNICSUL, PUC-RJ, PUC-PR, MACKENZIE, PUC-SP, UVA, UFS, UNISINOS, PUC-MG, UNIFENAS, UNISANTA, UPF, UMC, UCB, PUC-RS, UNICAP, PUC-GO, UNIFRAN, UNIJUI, UMESP, UNICASTELO, UCP, UNIMEP, UNESA, UNISA, UAM, UNIPAR não obtiveram, na avaliação, conceito insatisfatório em nenhuma dimensão institucional. Essas IES representam 69% das IES Privadas, ou seja, 28 (vinte e oito) das 41 (quarenta e uma). Se não fosse o arredondamento do conceito final, a UNP, USC, UNIVAS e UNIGRANRIO não atingiriam o nível satisfatório de qualidade, pois obtiveram 2,95, 2,85, 2,70 e 2,50, respectivamente, na média ponderada das Dimensões Institucionais.

A tabela 2 apresenta a relação entre o percentual de Universidades Públicas e Privadas e o número de Dimensões Institucionais avaliadas com conceito insatisfatório.

Tabela 2
- % de Universidades versus quantidade de Dimensões Institucionais com conceito insatisfatório

Percebe-se que nas Universidades Privadas, 69% não obteve nenhum conceito insatisfatório, ao passo que nas públicas 28% receberam conceito insatisfatório. E ainda, 29% das Universidades Privadas obtiveram conceito insatisfatório em apenas 1 (uma) Dimensão Institucional, e nenhuma obteve conceito insatisfatório em mais do que 3 (três) dimensões. Esta realidade muda nas Universidades Públicas, pois 12% obtiveram conceito insatisfatório em 5 (cinco) Dimensões Institucionais.

4.2 Por Dimensão Institucional

A Tabela 3 apresenta uma comparação entre as médias das Dimensões Institucionais das Universidades Públicas e das Universidades Privadas:

Tabela 3
Média das Dimensões Institucionais das Universidades Públicas e Privadas

No geral, percebe-se que asUniversidades Privadas obtiveram melhor avaliação em quase todas as Dimensões Institucionais. Das 10 dimensões, duas foram melhores avaliadas nas Universidades Públicas (Dimensão 2 e Dimensão 5). Nas Privadas, a média de nenhuma dimensão institucional ficou abaixo do nível satisfatório de qualidade, ao passo que nas Públicas, duas dimensões institucionais (Dimensão 1 e Dimensão 8) obtiveram média insatisfatória.

Em relação à Dimensão 2, que trata das Políticas para o Ensino, a Pesquisa e a Extensão, as Universidades Públicas têm a tradição, no cenário da educação superior brasileira, de desenvolver essas políticas com melhor desempenho em relação as Privadas.

Em se tratando da Dimensão 5, Políticas de Pessoal, as Universidades Públicas possuem em seu quadro funcional servidores concursados, cujas relações de trabalho são regidas por legislação específica.

A Dimensão 1 – Missão e PDI, “identifica o projeto e/ou missão institucional, em termos de finalidade, compromissos, vocação e inserção regional e/ou nacional da IES” (BRASIL, 2004b, p. 6). É crucial avaliar o que foi proposto por seus membros, por meio do PDI, comparando-se com o que foi realizado. Portanto, uma Universidade que não atinge o referencial mínimo de qualidade nessa Dimensão compromete todo o processo de avaliação institucional, pois, desconhece a sua própria vocação e finalidade. Dentre as Universidades analisadas neste estudo, houve o caso da UFV, que obteve conceito 1, ou seja, “muito aquém” do nível satisfatório de qualidade.

A Dimensão 8 – Planejamento e Avaliação, especialmente dos processos, resultados e eficácia da auto-avaliação institucional, considera o planejamento e a avaliação como instrumentos integrados, elementos de um mesmo processo de gestão da educação superior. “Esta dimensão aposta no papel da avaliação como processo centrado no presente e no futuro institucional, a partir do balanço de fragilidades, potencialidades e vocação institucionais” (BRASIL, 2004b, p. 7). O processo de avaliação institucional deve ter seu ápice na autoavaliação ou avaliação interna, o que implica salientar seu aspecto crítico-transformador, e não o tecno-burocrático. A preocupação com a clareza dos propósitos permite tornar o processo mais motivador do que ameaçador.

A Dimensão 3, que trata da Responsabilidade Social, especialmente no que se refere à sua contribuição em relação à inclusão social, ao desenvolvimento econômico e social, à defesa do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural, foi a que obteve a maior média conceitual dentre todas as dimensões institucionais, tanto nas Universidades Públicas como nas Universidades Privadas. Conforme a CONAES (BRASIL, 2004b, p. 6), “a responsabilidade social contempla o compromisso social da instituição enquanto portadora da educação como bem público e expressão da sociedade democrática e pluricultural, de respeito pela diferença e de solidariedade, independente da configuração jurídica da IES”.

Em relação à Dimensão 4 – Comunicação com a Sociedade, espera-se que as IES apresentem formas de aproximação efetiva com a sociedade. As Universidades analisadas obtiveram média conceitual satisfatória nesta Dimensão. A expectativa é que as IES tenham uma Ouvidoria que funcione segundo padrões de qualidades claramente estabelecidos e disponha de pessoal e estrutura adequada, e os seus registros e observações sejam efetivamente levados em consideração pelas instancias acadêmicas e administrativas.

A Dimensão 6 – Gestão e Organização, também obteve média conceitual satisfatória nas Universidades analisadas. Esta Dimensão contempla a forma de participação dos órgãos colegiados nas decisões institucionais, apostando nas escolhas democráticas e no respeito às diversidades.

A Dimensão 7 – Infraestrutura Física, apresentou média conceitual satisfatória tanto nas Universidades Públicas como nas Privadas. Essa dimensão é de extrema importância para o funcionamento de uma IES, sendo considerada atividade finalística, pois trata da iluminação, ventilação e conservação dos ambientes institucionais.

O que se espera da Dimensão 9 – Políticas de Atendimento aos Estudantes, é a integração dos estudantes à vida acadêmica e aos programas de assistência por meio dos quais a IES busca atender aos princípios inerentes à qualidade da vida estudantil, bem como o incentivo aos alunos para participação de eventos e congressos científicos.

Em relação à Dimensão 10, que trata da Sustentabilidade Financeira, a média conceitual foi satisfatória nas Universidades Públicas e Privadas. Esta dimensão “avalia a capacidade de gestão e administração do orçamento com vistas à eficácia na utilização e na obtenção dos recursos financeiros necessários ao cumprimento das metas e das prioridades estabelecidas” (BRASIL, 2004b, p. 7).

5 Considerações Finais

A meta-avaliação se caracteriza por ter a avaliação como objeto de interesse. É de natureza qualitativa e pretende estabelecer um julgamento de valor, a partir de critérios pré-definidos, com base em informações existentes ou construídas sobre uma determinada avaliação (em curso ou já realizada) para subsidiar eventuais tomadas de decisão. Assim, temos os componentes essenciais da avaliação – informação, estabelecimento de critérios, julgamento e tomada de decisão – aplicados sobre a própria avaliação.

Embora contínua e crescente, a inserção da meta-avaliação na agenda nacional da educação superior não é garantia de sua efetiva utilização nem de que venha, de fato, a qualificar o processo avaliativo. Tudo dependerá de como e sob quais paradigmas irão operar as categorias que se propõem a avaliar as avaliações. Por isso, quando se avalia a avaliação, deve-se considerar importantes aspectos ligados à democratização do processo avaliativo, como atores diretamente ou indiretamente afetados pelo programa e a efetividade do processo participativo. Assim, para que a avaliação seja, predominantemente, um meio de aperfeiçoamento das instituições, e não um fim em si mesma, o que a transformaria num instrumento demagógico, torna-se imperiosa a sensibilização e o comprometimento de todos os atores envolvidos no processo.

Acredita-se que o grande entrave para um maior desenvolvimento da avaliação institucional é o tratamento dos resultados do processo avaliativo, que deveriam subsidiar decisões que promovessem a melhoria das atividades institucionais. Há, também, certo receio na divulgação os resultados que não são satisfatórios, tanto pelos impactos que podem vir a resultar, como pela possibilidade de comparações em forma de rankeamento com outras IES, desgastando bastante a imagem e as relações internas e externas da Instituição.

Outro ponto crucial na avaliação do processo avaliativo (meta-avaliação) decorre do universo de Instituições de Educação Superior, pela complexidade do seu campo, que abrange IES de diferentes naturezas administrativas e organizações acadêmicas. Essas IES são, inclusive, diferenciadas dentro de sua própria categoria, tendo em vista que atuam em realidades regionais e sociais específicas. Disso decorre, também, o dilema de configurar indicadores padronizados para aferir realizações tão distintas, ao mesmo tempo em que se deve considerar as diferentes realidades e identidades institucionais.

A meta-avaliação apresentada nesta pesquisa foi de caráter externo; e, embora realizada dentro de uma concepção somativa (quando ocorre ao final do processo avaliativo), acredita-se que tenha contribuído significativamente com o Processo de Avaliação Institucional do SINAES, tendo em vista que possibilitou garantir a sua legitimidade e julgar o seu mérito e o seu valor.

Por fim, ao considerar-se a qualidade do desempenho institucional há de se considerar os processos de tomada de decisão decorrentes desse. Embora atinjam um conceito satisfatório há dimensões que ficam abaixo do esperado, por isso, acredita-se que de alguma forma a melhoria desses conceitos deva ser pactuada com as IES numa perspectiva formativa, sistêmica e contínua, visando o aperfeiçoamento e a melhoria do desempenho das instituições, numa perspectiva muito além do satisfatório três.

Referências

• BARREYRO, Gladys Beatriz. Evaluación de la educación superior brasileña: el SINAES. Revista de la Educación Superior, México, v. 137, jan. /mar., 2006
• BELLONI, I. A educação superior na nova LDB. In: BRZEZINSKI, I. (Org.). LDB interpretada: diversos olhares se entrecruzam, São Paulo: Cortez, 2003.
• BRASIL. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior e da outras providências. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 14 abr, 2004.
• BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior – CONAES. Diretrizes para a avaliação das instituições de educação superior. Brasília: MEC, 2004.
• BRASIL. Ministério da Educação. SINAES – Sistema Nacional deAvaliação da Educação Superior. Sistema Nacional de Educação Superior: da concepção à regulamentação. 5. ed. Brasília: INEP, 2009.
• BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior – CONAES. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP. Diretoria de Avaliação da Educação Superior – DAES. Sistema Nacional de Avaliação da Educação Superior – SINAES. Instrumento de avaliação institucional externa. Brasília: MEC, 2010. Disponível em: <http://download.inep.gov.br/download/superior/institucional/2010/instrumento_avaliacao_institucional_externa_recredenciamento.pdf>. Acesso em: 20 out. 2014
  » http://download.inep.gov.br/download/superior/institucional/2010/instrumento_avaliacao_institucional_externa_recredenciamento.pdf
• CEA - Comissão Especial de Avaliação. Sistema nacional de avaliação da educação superior: bases para uma nova proposta de avaliação da educação superior, Brasília: INEP/MEC, 2003.
• COTERA, Aurora Trujillo; MATAMOROS, Ariana Acón. Propuesta para implementar la Metaevaluación en la Escuela de Ciencias de la Educación de la Universidad Estatal. Revista Calidad en la Educación Superior, Costa Rica, v. 2, n. 1, p. 247-265, nov. 2011.
• DIAS SOBRINHO, José. Avaliação: políticas educacionais e reformas da educação superior. São Paulo: Cortez, 2003.
• DIAS SOBRINHO, José. Avaliação e transformação da educação superior brasileira (1995-2009) do Provão ao SINAES. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p. 195-224, mar. 2010.
• ELLIOT, Ligia G. Meta-avaliação: das concepções as possibilidades de aplicação. Ensaio: Avaliação de Políticas Públicas Educacionais, Rio de Janeiro, v. 19, n. 73, p. 941-964, out./dez. 2011.
• FREITAS, Iêda M. A. C; SILVEIRA, Amélia. Avaliação da educação superior. Florianópolis: Insular, 1997.
• GIMENES, Nelson A. S. Estudo meta-avaliativo do processo de autoavaliação em uma instituição de educação superior no Brasil. Estudos em Avaliação Educacional, São Paulo, v. 18, n. 37, maio/ago. 2007.
• JCSEE - joint committee on standards for educational evaluation. The program evaluation standards: a guide for evaluators and evaluation users. Thousands Oaks, CA: Sage, 2011.
• LUCKESI, Cipriano C. Avaliação da aprendizagem escolar: estudos e proposições. 21. ed. São Paulo: Cortez, 2010.
• MARCONI, Marina de Andrade; LAKATOS, Eva Maria. Técnicas de pesquisa: planejamento e execução de pesquisas, amostragens e técnicas de pesquisas, elaboração, análise e interpretação de dados. 6. ed. São Paulo: Atlas, 2007.
• PEIXOTO, Maria C. L. Avaliação institucional externa no SINAES: considerações sobre a prática recente. Avaliação, Campinas; Sorocaba, v. 16 n. 1, p. 11-36, mar. 2011.
• RISTOFF, Dilvo. Construindo outra educação: tendências e desafios da educação brasileira. Florianópolis: Insular, 2011.
• SCRIVEN, M. Evaluation thesaurus. 4. ed. Newbury Park, CA: Sage, 1991. Disponível em: <http://books.google.co.nz/books/about/Evaluation_Thesaurus.html?id=koL0Fs_ZSvQC>. Acesso em: 10 dez. 2014.
• SILVA, Assis L; GOMES, Alfredo M. Avaliação institucional no contexto do SINAES: a CPA em questão. Avaliação, Campinas; Sorocaba, v. 16 n. 3, p.573-601, nov. 2011.

Datas de Publicação

• Publicação nesta coleção
  Mar 2016

Histórico

• Recebido
  3 Nov 2015
• Aceito
  10 Dez 2015