Acessibilidade / Reportar erro

Uma análise dos primeiros quinze anos de SINAES: dizeres e compreensões docentes

An analysis of the first fifteen years of SINAES: sayings and understandings from the teachers

Resumos

Este trabalho se concentra na análise de concepções de professores da Educação Superior acerca dos 15 primeiros anos de atuação do SINAES, quanto à confiabilidade do modelo e sua capacidade de atestar a qualidade educativa. A pesquisa possui finalidade exploratória, de natureza quantitativa e qualitativa, a partir das respostas de 280 professores de educação superior, gestores e pesquisadores educacionais, distribuídos em todas as regiões do Brasil. A ferramenta ATLAS.ti propiciou a análise quantitativa e qualitativa do perfil dos participantes e de suas interpretações. Foi possível perceber divergências significativas entre a proposta original do SINAES e sua atual instrumentalização, um maior direcionamento para o contexto regulatório e evidências de pressões corruptoras, que podem fragilizar a fidedignidade da percepção de qualidade aferida pelo modelo.

Palavras-chave:
Avaliação; Regulação; Emancipação


This paper focuses on the analysis of conceptions from Higher Education professors about the first 15 years of performance of SINAES in regard to the reliability of the model and its ability to certificate to the educational quality. The research has an exploratory purpose, by adopting a quantitative and qualitative nature, from answers of 280 Higher Education professors, managers and educational researchers, distributed in all regions of Brazil. Through the ATLAS.ti tool, a quantitative and qualitative analysis of the participants' profile and their interpretations were performed. It was possible to notice significant divergences between the original proposal of SINAES and its current instrumentalization, as well as a greater direction for the regulatory context and the existence of corrupting pressures that can weaken the reliability of the perception of quality measured by the model.

Keywords:
Assessment; Regulation; Emancipation


1 Introdução

A Lei de Diretrizes e Bases da Educação Nacional - Lei nº 9.394/96 destaca em seu Art. 3º, Parágrafo IX, que o ensino deve ser ministrado com base na garantia de padrão de qualidade. Os critérios e indicadores de qualidade da educação superior são definidos pelo Sistema Nacional de Avaliação da Educação Superior - SINAES (SINAES, 2004SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2. ed. Brasília: INEP, 2004. ) e instituído pela Lei nº 10.861/04. Sua instrumentalização é expressa por decretos, portarias e normas técnicas, publicados pelo Ministério da Educação (MEC) ou pelos órgãos a ele subordinados ou vinculados. Passados quinze anos da implantação do SINAES, envolto em uma conjuntura complexa, entrelaçada por questões políticas, econômicas e culturais, faz-se oportuna a reflexão acadêmica de sua influência na educação superior brasileira.

Mensurar a qualidade de uma Instituição de Educação Superior (IES) ou de um curso de graduação requer a clara elucidação de seu papel, no contexto social contemporâneo. A Universidade do Século XXI, segundo Santos (2011SANTOS, Boaventura de Sousa. A universidade no Século XXI: para uma reforma democrática e emancipatória da universidade. 3. ed. São Paulo: Cortez, 2011. ) e Demo (2011DEMO, Pedro. Outra universidade. Jundiaí: Paco Editorial, 2011. ), gira em torno de dois grandes desafios: produzir conhecimento novo e próprio, e formar profissionais capazes dessa elaboração. Desta forma, as políticas públicas de um país não deveriam apenas estabelecer e regular as diretrizes do seu contexto educacional, mas também conceder à universidade autonomia e liberdade para compor novos conhecimentos, desvencilhando-se da estrita regulação estatal ou do mercado. Assim, a educação não deveria ser condicionada exclusivamente pelos interesses formativos de ordem econômico-mercadológica, mas ser vista como um bem de interesse público, em permanente construção e desenvolvimento.

No entanto, para Dias Sobrinho (2008DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008. Disponível em: Disponível em: https://www.scielo.br/pdf/aval/v13n3/11.pdf . Acesso em: 21 set. 2019.
https://www.scielo.br/pdf/aval/v13n3/11....
) e Cardoso e Dias Sobrinho (2014CARDOSO, Roberta Muriel; DIAS SOBRINHO, José. Avaliação e educação no Brasil: avanços e retrocessos. Série Estudos, Campo Grande, n. 37, p. 263-273, jan./jun. 2014. Disponível em : Disponível em : https://serie-estudos.ucdb.br/serie-estudos/article/view/766 . Acesso em: 21 set. 2019.
https://serie-estudos.ucdb.br/serie-estu...
), a atual instrumentalização do SINAES desvia-se de sua proposta conceptiva uma vez que passa a fundamentar-se especialmente no uso de indicadores para determinar os níveis de qualidade da educação superior, optando por um modelo avaliativo fortemente técnico e objetivista, numa racionalidade mais mercadológica e reguladora e menos formativa e emancipadora. A instrumentalização do SINAES perde grande parte de suas características integradoras e formativas e passa a atribuir maior importância a exames estáticos, somativos e regulatórios. Dessa forma, altera-se a metodologia avaliativa originalmente proposta pelo SINAES, de produção de significados e reflexão sobre os valores do conhecimento e da formação, para o controle, a seleção e o ranqueamento em escalas numéricas.

Para Ravitch (2011RAVITCH, Diane. Vida e morte do grande sistema escolar americano: como os testes padronizados e o modelo de mercado ameaçam a educação. Porto Alegre: Sulina, 2011. ), quanto mais qualquer indicador quantitativo for usado para tomada de decisão social, mais ele será sujeito a pressões corruptoras capazes de distorcer os processos sociais que deve monitorar. É importante ressaltar que o uso de testes não é um problema nas práticas avaliativas, mas sim o que é feito com seus resultados. Quando o propósito da testagem é informativo e diagnóstico, passa a ser uma poderosa ferramenta de orientação para a análise do objeto da avaliação em prol de sua melhoria. À medida que a responsabilização e penalidades são diretamente vinculadas exclusivamente aos resultados dos testes, a preocupação deixa de ser a qualidade da educação e passa a ser os escores, bem como a necessidade de se manter posicionado no topo dos rankings. Assume-se, portanto, que para analisar a qualidade do contexto educacional, um modelo avaliativo pode servir-se do ferramental regulatório e da racionalidade instrumental para alcançar seus objetivos, porém a legitimidade da objetividade e da regulação necessita alicerçar-se em um olhar intersubjetivo do conhecimento, fortemente influenciado por fenômenos socioculturais. Acredita-se ainda que a combinação epistemológica entre os modelos objetivista-quantitativo-regulatório e subjetivista-qualitativo-emancipatório se torna substancial para melhor compreensão da educação e do seu modelo avaliativo, ambos envoltos pela complexidade polissêmica da dimensão humana.

Como objetivo central deste trabalho, buscou-se analisar a compreensão de docentes e gestores educacionais acerca dos quinze primeiros anos de atuação do SINAES, quanto à fidedignidade do modelo e a capacidade de atestar, por meio de indicadores, a qualidade da educação superior brasileira. Procurou-se ainda averiguar a hipótese aqui levantada de que os atuais indicadores de qualidade utilizados pelo SINAES são frágeis e têm sido influenciados por pressões corruptoras envoltas ao processo avaliativo vigente, maquiando os rankings de qualidade institucional divulgados à sociedade. Neste intuito, este artigo aborda: (1) procedimentos metodológicos utilizados na pesquisa; (2) perfil da população-alvo participante; (3) análise qualitativa dos dados coletados; e (4) considerações finais.

2 Procedimentos metodológicos

Os procedimentos metodológicos foram delineados para analisar a compreensão de professores, pesquisadores e gestores educacionais acerca do SINAES e de sua capacidade de aferir, por meio de indicadores, a qualidade da educação superior brasileira. Este processo investigativo de caráter exploratório, de natureza quantitativa e qualitativa iniciou por uma revisão bibliográfica e documental acerca do objeto de estudo, seguida de análise empírica de cenário, tendo como fontes diretas uma amostra representativa de profissionais de diferentes organizações acadêmicas. Para tanto, foi organizada uma pesquisa do tipo Survey, com questionário eletrônico, disponibilizado em plataforma web por meio da ferramenta Google Forms, encaminhado para instituições de educação superior de todos os estados brasileiros, sem priorizar IES ou região, no intuito de abstrair a impressão dos participantes sobre os quinze primeiros anos do SINAES. A coleta das informações foi realizada de outubro a novembro de 2018. O questionário foi elaborado com questões objetivas fechadas e subjetivas abertas, proporcionando uma análise quantitativa e qualitativa das respostas obtidas, bem como, a exploração de diversas respostas em relação à temática tratada. A primeira etapa do questionário (Quadro 1) buscou traçar o perfil da população alvo participante da pesquisa.

Já a segunda etapa (Quadro 2) objetivou colher informações acerca das interpretações dos participantes em relação aos primeiros quinze anos do SINAES. Após a aplicação do questionário e dos filtros para evitar distorções, que comprometesse a amostragem (por exemplo, número excessivo de respondentes de uma única instituição), foram selecionados 280 respondentes, que atuam em IES distribuídas em todas as regiões brasileiras. As respostas objetivas foram analisadas de forma quantitativa, com técnicas de estatística descritiva e a ferramenta Microsoft Excel, para traçar o perfil dos participantes

Quadro 1
- Questionário referente ao perfil da população alvo participante da pesquisa

As respostas às questões abertas, que permitem a livre escrita sobre a temática proposta, foram observadas com a metodologia de Análise Textual Discursiva (ATD) para abstração de significados comuns. Para Moraes e Galiazzi (2006MORAES, Roque; GALIAZZI, Maria do Carmo. Análise textual discursiva: processo reconstrutivo de múltiplas faces. Revista Ciência & Educação, Bauru, v. 12, n. 1, p. 117-128, 2006., 2016MORAES, Roque; GALIAZZI, Maria do Carmo. Análise textual discursiva. 3. ed. Ijuí: Editora UNIJUÍ, 2016.), a ATD é uma abordagem que transita entre duas formas consagradas de análise na pesquisa qualitativa: a de conteúdo e a de discurso. Segundo Ariza (2015ARIZA, Leidy et al. Articulações metodológicas da análise textual discursiva com o ATLAS.ti: compreensões de uma comunidade aprendente. In: CONGRESSO IBERO-AMERICANO DE INVESTIGAÇÃO QUALITATIVA,4., 2015, Aracajú. Atas CIAIQ2015. Aracajú, 2015. Disponível em: Disponível em: https://proceedings.ciaiq.org/index.php/ciaiq2015/article/view/273 . Acesso em: 21 set. 2019.
https://proceedings.ciaiq.org/index.php/...
), trata-se de um processo que orienta a fragmentação do texto em unidades de significado de modo a, posteriormente, agrupá-las de outra forma, construindo categorias iniciais, intermediárias e finais, em processos recursivos, quantas vezes o pesquisador considerar necessário para aproximar os significados, em um exercício de redução fenomenológica.

A ferramenta utilizada para a realização da ATD foi o ATLAS.ti (ATLAS.TI, 2019ATLAS.TI. ATLAS.TI Disponível em: Disponível em: https://www.atlasti.com . Acesso em: 21 set. 2019.
https://www.atlasti.com...
), em sua versão 7.0, que, segundo Walter e Bach (2015WALTER, Silvana Anita; BACH, Tatiana Marceda. Adeus papel, marca-texto, tesoura e cola: inovando o processo de análise de conteúdo por meio do ATLAS.ti. Revista Administração: Ensino e Pesquisa, Rio de Janeiro, v. 16, n. 2, p. 275-308. 2015. Disponível em: Disponível em: https://raep.emnuvens.com.br/raep/article/view/236 . Acesso em: 21 set. 2019
https://raep.emnuvens.com.br/raep/articl...
), Ariza (2015ARIZA, Leidy et al. Articulações metodológicas da análise textual discursiva com o ATLAS.ti: compreensões de uma comunidade aprendente. In: CONGRESSO IBERO-AMERICANO DE INVESTIGAÇÃO QUALITATIVA,4., 2015, Aracajú. Atas CIAIQ2015. Aracajú, 2015. Disponível em: Disponível em: https://proceedings.ciaiq.org/index.php/ciaiq2015/article/view/273 . Acesso em: 21 set. 2019.
https://proceedings.ciaiq.org/index.php/...
) e Friese (2015FRIESE, Susanne. ATLAS.ti 7 user guide and reference. ATLAS.ti Scientific Software Development GmbH. Berlin, 2015.) consiste de um software para a análise qualitativa de dados, que pode facilitar o gerenciamento e a interpretação dos mesmos. Ele foi concebido especialmente para pesquisa qualitativa social e linguística facilitando a compreensão de um fenômeno social específico, a partir da construção de um quadro de categorias com altos níveis de abstração, que permitem a construção de uma teoria.

Ainda, permite a visualização, integração, descoberta e exploração de significados contidos em grandes quantidades de textos, deixando as tarefas criativas e intelectuais para o investigador.

Com base na ATD e tendo como ferramenta o ATLAS.ti, as famílias (grupos) de documentos foram estipuladas no intuito de melhor organizar os documentos primários (respostas às questões) importados para a ferramenta.

Quadro 2
Questionário sobre as concepções dos participantes sobre os primeiros quinze anos do SINAES

Em seguida, foram designados os códigos (palavras-chave) com a função de estabelecer as citações que demarcaram os significados relevantes desta análise. Estabelecidas as demarcações e citações, nas respostas registradas em cada Documento Primário, foi possível realizar análises e cruzamentos entre códigos, citações e famílias de documentos, proporcionando a identificação de significados e comportamentos de caráter qualitativo, os quais são descritos nas próximas seções.

3 Perfil da população-alvo participante da pesquisa

O perfil e a trajetória de formação dos participantes, deste processo investigativo, constituem peça chave para a interpretação das análises da base de dados obtida. Nesta seção, apresenta-se o perfil dos 280 participantes, que responderam ao questionário (Quadro 1). Estes perfis foram organizados em “famílias”, por meio da ferramenta ATLAS.ti, de forma a possibilitar o correlacionamento com os códigos previamente estabelecidos e a análise qualitativa.

A maioria dos respondentes (Figura 1) está na faixa etária de 36 a 55 anos de idade (62%), e entre estes, os de 41 a 45 anos constituem o maior grupo (19%). Quanto ao tempo de experiência na educação superior, 43% deles possuem de 11 a 20 anos de experiência e apenas 15%, menos de 5 anos.

Figura 1
Faixa etária e tempo de experiência na educação superior dos participantes

Na figura 2, observa-se o perfil de titulação, regime de trabalho e funções exercidas pelos participantes. Quanto à titulação, 81% possuem pós-graduação stricto sensu (mestrado, doutorado ou pós-doutorado) e 71% deles possuem vínculo institucional em regime de tempo integral (com ou sem dedicação exclusiva). Em relação às funções1 1 Nas funções exercidas, os participantes tiveram a oportunidade de escolher mais de uma opção, resultando na soma dos percentuais superior a cem por cento. exercidas, 66% desenvolvem atividades de ensino e 33% de pesquisa. Destaca-se, ainda, que 45% deles exercem atividades de gestão institucional ou de curso.

Figura 2
Maior titulação, regime de trabalho e funções exercidas pelos participantes

Conforme ilustrado na Figura 3, a maioria dos participantes (58%) atua em instituições privadas e 57% em universidades ou centros universitários.

Figura 3 -
Organização acadêmica e categoria administrativa das IES onde os participantes atuam

Quanto ao envolvimento dos participantes em órgãos colegiados (Figura 4), destaca-se que 70% fazem ou fizeram parte do Núcleo Docente Estruturante (NDE2 2 O Núcleo Docente Estruturante (NDE) de um curso de graduação, conforme determina a Resolução CONAES nº 01, de 17 de junho de 2010, constitui-se de um grupo de docentes, com atribuições acadêmicas de acompanhamento, atuante no processo de concepção, consolidação e contínua atualização do projeto pedagógico do curso. ) de seus cursos, 48% participam ou participaram da Comissão Própria de Avaliação (CPA3 3 A Comissão Própria (ou Permanente) de Avaliação refere-se a comissão de autoavaliação institucional, conforme determina o artigo 11 da lei nº 10.861/2004 (Lei do SINAES), com as atribuições de conduzir os processos de avaliação internos da instituição, bem como de sistematizar e prestar as informações solicitadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). ) de sua IES e 36% constituem ou constituíram o Banco de Avaliadores do Sistema Nacional de Avaliação da Educação Superior (BASIS4 4 Banco de Avaliadores do Sistema Nacional de Avaliação da Educação Superior (BASis) é composto por docentes da Educação Superior capacitados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) para realizar avaliações externas de Instituições de Educação Superior (IES) e dos cursos de graduação. A constituição e manutenção do BASis compete ao Inep, de acordo com o Decreto nº 9.235, de 15 de dezembro de 2017; e é realizada pela Diretoria de Avaliação da Educação Superior (Daes), segundo Portaria Normativa nº 19, de 13 de dezembro de 2017. ).

Figura 4
Envolvimento dos participantes em órgãos colegiados

Por fim, na Figura 5, está representada a distribuição dos participantes no território brasileiro, com a ausência apenas dos estados: Amazonas, Roraima, Amapá e Acre. É possível perceber que a amostra de respondentes representa a população alvo desta investigação científica, possui conhecimento sobre a temática abordada e, em geral, apresenta uma boa experiência na educação superior.

Figura 5
Envolvimento dos participantes em órgãos colegiados

4 Impressões dos participantes acerca do SINAES

Nesta seção, é abordada a análise qualitativa das respostas objetivas e subjetivas concedidas pelos participantes às questões de 12 a 20 (Quadro 2). Segundo Lüdke e André (1986LÜDKE, Menga; ANDRÉ, Marli Eliza Dalmazo Afonso. Pesquisa em Educação: abordagens qualitativas. São Paulo: EPU, 1986.), analisar os dados qualitativos significa “trabalhar” todo o material obtido: relatos de observações; transcrições de entrevistas; documentos e demais informações disponíveis. Desta forma, os resultados emergem das compreensões dos autores na revisão bibliográfica e documental, da análise quantitativa das informações coletadas por meio do questionário eletrônico e do inter-relacionamento qualitativo destas informações.

Uma primeira análise das concepções dos participantes diz respeito à questão 12, em que são abordados os indicadores de qualidade institucional ou de cursos. Na Figura 6(1), é possível perceber que a maior parte dos participantes (37%) considera o Conceito Preliminar de Curso (CPC) e o Índice Geral de Cursos (IGC) como indicadores que melhor representam a qualidade de um curso ou IES, seguido de 35%, que optaram pelo Conceito de Curso (CC) e 19% pelos indicadores e informações disponibilizadas pela CPA. Cabe ressaltar que, apesar dos rótulos atribuídos pelo MEC, as informações disponibilizadas pela CPA, CC e CI são, de fato, conceitos de avaliação de qualidade, uma vez que se originam de um processo avaliativo real, realizado in loco, por comissão de avaliação interna ou externa. Já o CPC e o IGC são considerados indicadores de qualidade, uma vez que se fundamentam em dados estatísticos e buscam aferir um grau de qualidade sem processo avaliativo in loco. A tendência de conceder maior importância aos indicadores de qualidade do que aos conceitos de avaliação tem sido seguida pelo MEC, uma vez que, na atual instrumentalização do SINAES, os indicadores de qualidade (CPC e IGC) são considerados suficientes para que o órgão regulador adote medidas, que deveriam ser executadas somente após a análise dos conceitos de avaliação (CC e CI), contrariando o previsto em lei. Esta constatação vem ao encontro do que já alertaram Dias Sobrinho (2008), Cardoso e Dias Sobrinho (2014CARDOSO, Roberta Muriel; DIAS SOBRINHO, José. Avaliação e educação no Brasil: avanços e retrocessos. Série Estudos, Campo Grande, n. 37, p. 263-273, jan./jun. 2014. Disponível em : Disponível em : https://serie-estudos.ucdb.br/serie-estudos/article/view/766 . Acesso em: 21 set. 2019.
https://serie-estudos.ucdb.br/serie-estu...
), Apple (2007APPLE, Michael Whitman. Education, markets and an audit culture. International Journal of Educational Policies, Ankara, Turkey, v. 1, n. 1, p. 4-19, sept. 2007.) e Neira e Nunes (2015NEIRA, Marcos Garcia; NUNES, Mário Luiz Ferrari. A avaliação no ensino superior privado como tecnologia neoliberal de regulação. Avaliação, Campinas, Sorocaba. v. 20, n. 2, p. 377-399, jul. 2015. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772015000200377&script=sci_abstract&tlng=pt . Acesso em: 21 set. 2019.
https://www.scielo.br/scielo.php?pid=S14...
).

A ferramenta ATLAS.ti possibilitou relacionar as respostas às questões com as diferentes famílias/grupos previamente criados. É possível perceber, na Figura 6(2), que a única categoria administrativa que considerou os conceitos de avaliação CC e CI mais representativos que os indicadores de qualidade CPC e IGC foi a Comunitária. Quando comparadas as regiões do país, o mesmo comportamento aconteceu somente na região Sul. Este fato pode ser explicado, primeiramente, em virtude da maioria das instituições comunitárias estarem na região sul, e também por possuírem, de longa data, uma cultura de autoavaliação de caráter formativo, baseado em conceitos de avaliação (NUNES, 2009NUNES, Ana Karin. Universidade comunitária e avaliação: os quinze anos do PAIUNG. Santa Cruz do Sul: EDUNISC, 2009.).

Figura 6
Percepções sobre os indicadores e conceitos de qualidade que melhor representam o curso ou a IES

Por sua vez, nas Figuras 6(3) e 6(4), foi constatado que a opção pelos conceitos de avaliação (CC e CI) foi maior entre os participantes membros do BASIS e por aqueles que alegaram perceber tratamento diferenciado para as turmas enadistas. O primeiro grupo participa ativamente do processo de avaliação in loco e presume-se que possua amplo conhecimento do sistema avaliativo vigente. Já o segundo, tem percebido que muitas instituições buscam preparar as turmas especificamente para o ENADE, fazendo com que o CPC e IGC não representem o real nível de qualidade da mesma.

Outro questionamento realizado foi se os participantes acreditam que os indicadores de qualidade atualmente atribuídos à IES (IGC) ou ao curso (CPC), em que trabalham, realmente refletem o nível de qualidade destes (questão 14). É possível observar na Figura 7(1), que menos da metade (49%) dos participantes acreditam que o CPC e o IGC de seus Cursos/IES representam o nível de qualidade; 41% acreditam que estes indicadores não representam; e, 10% alegam não conhecer o IGC ou CPC de sua IES ou curso. Observa-se na Figura 7(2), que a fidedignidade dos indicadores de qualidade é especialmente questionada nas instituições cuja categoria administrativa é privada, e nas faculdades.

Em relação aos indicadores de qualidade atribuídos à IES e aos cursos, foi analisado, nas respostas à questão 15, o fato dos mesmos estarem sendo amplamente divulgados à comunidade externa. Na opinião de 39% dos participantes, a divulgação do IGC e do CPC constitui uma estratégia correta, pois garante que as instituições de educação superior busquem sempre se posicionarem no topo do ranking e, desta forma, se qualificarem, assumindo uma postura concorrencial salutar entre seus pares.

Figura 7
Nível de fidedignidade dos indicadores de qualidade da IES/curso

Por outro lado, 48% deles acreditam que a estratégia de promover um ranking das melhores IES, para fomentar o aumento da qualidade das mesmas é frágil, uma vez que o entendimento de “qualidade” se apresenta envolto por uma lógica objetivista e regulatória, não representando com segurança o nível de qualidade da IES. Os demais participantes (13%) alegaram não possuir opinião formada sobre esta questão.

As questões 16 e 17 propunham analisar se as IES promoveram ações preparatórias para o ENADE e desenvolveram algum tipo de tratamento diferenciado em relação às turmas enadistas. Fator por vezes desconsiderado, nas análises realizadas sobre os resultados oriundos dos indicadores fornecidos por testes, é que estes podem se tornar inválidos se for gasto muito tempo preparando os estudantes para realizá-los. Segundo Ravitch (2011RAVITCH, Diane. Vida e morte do grande sistema escolar americano: como os testes padronizados e o modelo de mercado ameaçam a educação. Porto Alegre: Sulina, 2011. ), a preparação e o treinamento excessivo dos estudantes para responder um teste pode distorcer o seu propósito que é avaliar o real aprendizado e o conhecimento e não apenas produzir escores mais altos. Na Figura 8, é possível constatar que 66% dos participantes alegaram promover algum tipo de ação preparatória para o ENADE, e 36% afirmaram ainda que as turmas enadistas possuem tratamento diferenciado quando comparadas às que não realizam este exame. Os participantes que alegaram tratamentos diferenciados para as turmas enadistas foram convidados a descrever livremente quais foram estes tratamentos. Por meio da ATD, foi possível elencar seis categorias (Figura 8(3)).

Maior solicitude e acompanhamento mais próximo das turmas enadistas em relação às demais foi indicado por 21% dos respondentes. Em seguida, destacaram-se: a prática de ações de treinamento específico para a realização do ENADE (20%); a preocupação com a oferta de atividades de revisão de conteúdo (17%); oportunidades de aprendizagem não disponibilizadas para outras turmas (13%); maior esclarecimento sobre a importância do ENADE (12%); e concessão de bonificações e privilégios para as turmas enadistas (10%). De acordo com os participantes, estas ações foram desenvolvidas exclusivamente com as turmas, que participaram do ENADE, sendo negada às demais.

Figura 8
Ações preparatórias e tratamentos diferenciados para as turmas enadistas

A existência de pressões institucionais ou discentes na atuação docente, da gestão ou técnica administrativa em função da realização do ENADE também foi questionada na pesquisa (questão 18). A figura 9 ilustra que mais de 40% dos participantes alegaram sofrer algum tipo de pressão institucional, dos estudantes ou de ambos, interferindo no processo de ensino e aprendizagem para fazer ajustes na relação de estudantes selecionados para o ENADE ou garantir maior engajamento estudantil na avaliação. Estes participantes também foram convidados a descrever livremente as pressões pelas quais passaram. Com a ATD, foi possível detectar categorias de respostas (Figuras 9(2) e 9(3)).

Figura 9
Pressões na atuação docente da gestão ou técnica administrativa em função do ENADE

É possível perceber que as pressões mais comuns elencadas pelos respondentes foram, de parte dos estudantes, o maior engajamento discente em troca de bonificações e presentes; a participação das atividades relacionadas à preparação para o ENADE somente mediante concessão de nota ou horas de atividades complementares. As pressões institucionais mais lembradas foram a exigência de mudanças nas metodologias de ensino e de avaliação em função do ENADE; a interferência no conteúdo ministrado e a exigência de realização de treinamentos e revisões; a concessão de notas e benefícios para estudantes enadistas. Acredita-se que tais pressões podem desvirtuar o processo avaliativo vigente.

Ainda no que diz respeito às interferências na atuação docente em função da realização do ENADE (Figura 10), os participantes afirmaram que há mais pressões institucionais do que discentes, em instituições privadas do que em públicas ou comunitárias. Quando analisadas as pressões discentes e institucionais em relação à organização acadêmica, percebe-se comportamento similar nas Faculdades, Centros Universitários e Universidades, com menor incidência, nos Institutos Federais. Por fim, quanto mais as instituições promovem tratamento diferenciado para suas turmas enadistas, maior é a incidência de pressões e interferências discentes ou institucionais no processo de ensino e aprendizagem, em função da participação no ENADE.

Figura 10
Comparação entre pressões discentes e institucionais sobre a atuação docente

Também foi questionado sobre a influência do SINAES no aumento da qualidade da educação superior brasileira, ou seja, se consideram que, no transcorrer destes primeiros 15 anos, o SINAES proporcionou mudanças significativas no cenário educacional (questão 19).

Figura 11
Contribuição dos 15 anos de SINAES para a qualidade educacional.

Na Figura 11(1) observa-se que 61% dos participantes acreditam que o SINAES foi responsável por uma progressão da qualidade da educação superior quando comparada ao período pré-SINAES. No entanto, 39% acreditam que o nível de qualidade manteve-se ou regrediu após o início do SINAES. A maioria daqueles que indicaram uma estagnação ou regressão da qualidade educacional em função do SINAES (Figura 11(2)) atuam em instituições privadas, cuja organização acadêmica é Centro Universitário ou Faculdade, com titulação de especialista ou graduado e alegam sofrer interferências discentes ou institucionais no processo de ensino e aprendizagem em função da realização do ENADE.

Por fim, os participantes da pesquisa foram convidados a indicar livremente quais seriam as principais alterações que fariam sobre a atual instrumentalização do SINAES caso tivessem plenos poderes para tal (questão 20). Com a ATD, foram encontradas treze categorias de respostas (figura 12). Dentre elas, destacam-se: (1) maior rigor avaliativo e maior exposição dos resultados (16%); (2) reformulação dos instrumentos avaliativos e de coleta de dados (13%); (3) considerar o contexto local e o tipo de organização universitária; (4) desenvolver um modelo avaliativo mais formativo e menos regulador (12%), dentre outras.

Figura 12
Alterações sugeridas pelos respondentes para a atual instrumentalização do SINAES

A partir das sugestões de mudança indicadas pelos participantes da pesquisa para o sistema de avaliação da educação superior brasileira, buscou-se verificar se as mesmas seriam de caráter mais formativo/emancipatório ou normativo/regulador. Foi possível constatar um equilíbrio nas respostas, com uma leve vantagem para o olhar formativo/emancipatório (53%) (Figura 13).

Figura 13
Escopo emancipatório ou regulador das indicações de mudanças para o SINAES

Por outro lado, na Figura 14, foram apresentadas as indicações de caráter formativo ou regulatório organizadas conforme a categoria administrativa, organização acadêmica das instituições e região em que se localizam, bem como, regime de trabalho e titulação dos participantes. As indicações de mudança para a atual instrumentalização do SINAES oriundas da região sul do Brasil tiveram uma predominância de caráter formativo, já as das regiões norte e nordeste, de caráter regulatório. As instituições comunitárias ou privadas tiveram mais indicações de mudanças com olhar formativo, ao contrário das instituições públicas, regulador. Constata-se ainda um equilíbrio em relação às indicações formativas ou regulatórias nos diferentes tipos de organização acadêmica e uma superioridade do olhar formativo nos participantes com titulação de mestre, tendo os doutores um comportamento inverso.

Figura 14
Percepção formativa ou reguladora por família/grupo

As informações e percepções aqui apresentadas constituem uma amostra do que pôde ser constatado por meio da análise quantitativa e qualitativa dos dados coletados. A ferramenta ATLAS.ti permitiu a construção e combinação de inúmeras informações, analisadas parcialmente. Desta forma, as principais considerações acerca destas análises constituem a próxima seção.

5 Considerações finais

O esforço investigativo concentrou-se na análise dos primeiros 15 anos de atuação do SINAES e nos seus reflexos na qualidade da educação superior brasileira. O objetivo foi explorar as interpretações docentes e de gestores educacionais em relação ao cenário educacional, com especial atenção ao sistema de avaliação da educação superior brasileira. A hipótese norteadora foi de que o atual modelo avaliativo assume um comportamento de caráter mais regulador do que formativo, uma vez que se respalda em indicadores objetivos considerados frágeis para expressar o nível de qualidade e a subjetividade de uma instituição ou curso. A pesquisa buscou ainda identificar pressões corruptoras envoltas no processo avaliativo vigente, influenciando a fidedignidade dos conhecidos rankings de qualidade educacional, amplamente divulgados para a sociedade.

Destaca-se que a amostra da população alvo desta ação empírica foi constituída de 280 professores, pesquisadores, gestores educacionais e demais profissionais que atuam na educação superior. Houve a preocupação de selecionar e analisar apenas as interpretações dos participantes realmente envolvidos com o escopo da pesquisa e com a problemática evidenciada. Conforme apresentado na seção 3, a amostra escolhida para representar a população alvo desta pesquisa manteve equilíbrio em relação aos seus principais atributos de formação, atuação e localização, bem como, foi capaz de trazer interpretações e contribuições relevantes acerca da temática abordada.

Após os estudos acerca do SINAES, da legislação educacional pertinente e de diversos pesquisadores5 5 Com especial destaque para (1) José Dias Sobrinho, professor e uma das principais referências brasileiras sobre avaliação da educação superior, responsável pela elaboração da proposta inicial do SINAES; (2) Diane Ravitch, historiadora da educação, analista de política educacional e professora pesquisadora norte-americana, responsável por organizar e implementar programas educacionais de governo, tais como o “No Child left Behind”; (3) Michael Apple, educador e sociólogo norte-americano, tendo como principais objetos de estudos a educação e poder, o currículo a cultura de auditoria (accountability) na educação; e (4) Boaventura de Sousa Santos, professor catedrático português, formado em sociologia do direito, tendo como um de seus objetos de estudo a tensão existente entre práticas emancipatórias e regulatórias na educação. que discorrem sobre a temática, bem como, encerrada a análise quantitativa e qualitativa dos dados empíricos coletados nas respostas aos questionários, foi possível chegar a algumas constatações relevantes.

A primeira delas é que a tensão dicotômica entre regulação e emancipação, anunciada por Santos (2007SANTOS, Boaventura de Sousa. Renovar a teoria crítica e reinventar a emancipação social. São Paulo: Boitempo, 2007. , 2009SANTOS, Boaventura de Sousa. Para uma pedagogia do conflito. In: FREITAS, Ana Lúcia Sousa de; MORAES, Salete Campos de. Contra o desperdício da experiência: a pedagogia do conflito revisitada. Porto Alegre: Redes Editora, 2009. ), continua presente, no contexto educacional brasileiro. É fato pacífico que o cenário educacional requer tanto ações as reguladoras quanto formativas emancipadoras. O SINAES propôs, em sua formação conceptiva, buscar o equilíbrio entre estas duas forças, uma vez que uma preocupação exclusiva com a ordem regulatória restringiria a liberdade emancipatória solidária ao contraponto que um caminho exclusivamente emancipatório aumentaria o risco do comportamento individualizado e a perda de uma perspectiva de contexto coletivo. Percebe-se, no entanto, que nestes 15 anos do SINAES, a balança tem pendido para o lado regulatório, puxada especialmente pela hipercientificização das ações emancipatórias e pela hipermercadorização das ações regulatórias, uma vez que se optou por seguir uma racionalidade mais objetiva-positivista, fundamentada em uma política de coerção, que fere a autonomia universitária e generaliza conhecimentos, direcionando-os especialmente ao contexto técnico demandado pelo mundo do trabalho.

Por meio da análise empírica realizada, também foi possível constatar que estamos longe de alcançar um consenso quanto ao modelo avaliativo esperado para a educação superior brasileira. Praticamente metade dos participantes da pesquisa, em suas respostas subjetivas, expressaram interpretações que direcionam para a necessidade de uma avaliação com um olhar mais formativo emancipatório. No entanto, a outra metade acredita que o melhor caminho a ser seguido é o normativo regulador. Esta dualidade interpretativa percebida permite constatar que, mesmo após 15 anos de atuação do SINAES, não está claro para os principais atores da educação superior, e nem como política de estado, se o modelo6 6 Considerando as pesquisas de Boaventura de Sousa Santos, todo conhecimento é constituído por meio de uma trajetória entre a ignorância e o saber. O caminho entre esses dois pontos pode ser percorrido de várias maneiras sendo que cada passo dado durante esse percurso recebe forte influência de aspectos culturais, políticos e econômicos. A escolha do caminho a ser percorrido entre o ponto “A”, que representa a ignorância, e o ponto “B”, que representa o saber, determina as propriedades do conhecimento constituído, ou seja, a escolha de diferentes caminhos pode gerar diferentes conhecimentos. Desta forma, os dois modelos principais para a construção do conhecimento propostos pelo autor são o (1) Modelo Regulatório, que leva ao conhecimento-como-regulação; e (2) o Modelo Emancipatório, que leva ao conhecimento-como-emancipação. almejado para a construção do conhecimento é o regulatório (conhecimento-como-regulação), ou o Emancipatório (conhecimento-como-emancipação).

As políticas públicas brasileiras relacionadas à educação superior ainda não foram capazes de especificar com clareza o caminho a ser seguido para a construção do conhecimento. Mesmo assim, tenta-se estabelecer com o SINAES, indicadores de qualidade sem antes determinar, de forma clara, o que se espera do modelo educacional formativo ora proposto. Houve a esperança de que o SINAES seria uma bússola para determinar a direção mais adequada a ser percorrida pela educação superior brasileira. Porém, a dicotomia presente nas interpretações detectadas na análise empírica realizada comprova que a incerteza permanece.

Outro fator importante foi a confirmação da hipótese acerca da existência de pressões corruptoras relacionadas ao processo avaliativo vigente, uma vez que mais de 40% dos participantes alegaram já terem sofrido algum tipo de interferência em sua atuação em função da necessidade de adequações ao modelo avaliativo. Foram identificadas pressões corruptoras (tanto institucionais quanto discentes) no entorno do processo avaliativo fortemente quantitativo instrumentalizado pelo SINAES. Estas pressões foram mais claramente percebidas no processo de avaliação constituído pelo Exame Nacional de Desempenho dos Estudantes (ENADE). Conforme o levantamento empírico realizado, além das interferências promovidas no intuito de ajustar-se ao modelo avaliativo, as IES sentem a necessidade de “treinar” seus acadêmicos para a realização do ENADE, bem como, de alterar suas estruturas curriculares para se adequarem às exigências de um exame nacionalmente padronizado, desconsiderando, muitas vezes, características específicas de suas regiões de influências por estas não integrarem a relação de conteúdos contemplados pelo exame.

Por fim, acredita-se que a compreensão de docentes e gestores educacionais, acerca dos 15 primeiros anos de atuação do SINAES, alerta para o fato de que ainda existem várias questões não resolvidas no contexto da educação superior brasileira e de seu modelo de avaliação. Mesmo assim, não se pode negar que o SINAES trouxe avanços, especialmente, quando comparado aos modelos de avaliação que o antecederam. Esta percepção também está presente no levantamento empírico uma vez que mais de 60% dos participantes da pesquisa acreditam que o SINAES proporcionou mudanças significativas nos níveis de qualidade da educação superior brasileira, promovendo o progresso da mesma.

Como continuidade desta pesquisa exploratória, vislumbra-se uma abordagem propositiva, na busca de alternativas para amenizar os problemas evidenciados.

Agradecimentos

Os autores agradecem à FAPERGS pelo apoio ao desenvolvimento desta pesquisa.

Referências

  • APPLE, Michael Whitman. Education, markets and an audit culture. International Journal of Educational Policies, Ankara, Turkey, v. 1, n. 1, p. 4-19, sept. 2007.
  • ARIZA, Leidy et al Articulações metodológicas da análise textual discursiva com o ATLAS.ti: compreensões de uma comunidade aprendente. In: CONGRESSO IBERO-AMERICANO DE INVESTIGAÇÃO QUALITATIVA,4., 2015, Aracajú. Atas CIAIQ2015. Aracajú, 2015. Disponível em: Disponível em: https://proceedings.ciaiq.org/index.php/ciaiq2015/article/view/273 Acesso em: 21 set. 2019.
    » https://proceedings.ciaiq.org/index.php/ciaiq2015/article/view/273
  • ATLAS.TI. ATLAS.TI Disponível em: Disponível em: https://www.atlasti.com Acesso em: 21 set. 2019.
    » https://www.atlasti.com
  • CARDOSO, Roberta Muriel; DIAS SOBRINHO, José. Avaliação e educação no Brasil: avanços e retrocessos. Série Estudos, Campo Grande, n. 37, p. 263-273, jan./jun. 2014. Disponível em : Disponível em : https://serie-estudos.ucdb.br/serie-estudos/article/view/766 Acesso em: 21 set. 2019.
    » https://serie-estudos.ucdb.br/serie-estudos/article/view/766
  • DEMO, Pedro. Outra universidade. Jundiaí: Paco Editorial, 2011.
  • DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008. Disponível em: Disponível em: https://www.scielo.br/pdf/aval/v13n3/11.pdf Acesso em: 21 set. 2019.
    » https://www.scielo.br/pdf/aval/v13n3/11.pdf
  • FRIESE, Susanne. ATLAS.ti 7 user guide and reference. ATLAS.ti Scientific Software Development GmbH. Berlin, 2015.
  • LÜDKE, Menga; ANDRÉ, Marli Eliza Dalmazo Afonso. Pesquisa em Educação: abordagens qualitativas. São Paulo: EPU, 1986.
  • MORAES, Roque; GALIAZZI, Maria do Carmo. Análise textual discursiva: processo reconstrutivo de múltiplas faces. Revista Ciência & Educação, Bauru, v. 12, n. 1, p. 117-128, 2006.
  • MORAES, Roque; GALIAZZI, Maria do Carmo. Análise textual discursiva. 3. ed. Ijuí: Editora UNIJUÍ, 2016.
  • NEIRA, Marcos Garcia; NUNES, Mário Luiz Ferrari. A avaliação no ensino superior privado como tecnologia neoliberal de regulação. Avaliação, Campinas, Sorocaba. v. 20, n. 2, p. 377-399, jul. 2015. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772015000200377&script=sci_abstract&tlng=pt Acesso em: 21 set. 2019.
    » https://www.scielo.br/scielo.php?pid=S1414-40772015000200377&script=sci_abstract&tlng=pt
  • NUNES, Ana Karin. Universidade comunitária e avaliação: os quinze anos do PAIUNG. Santa Cruz do Sul: EDUNISC, 2009.
  • RAVITCH, Diane. Vida e morte do grande sistema escolar americano: como os testes padronizados e o modelo de mercado ameaçam a educação. Porto Alegre: Sulina, 2011.
  • SANTOS, Boaventura de Sousa. Renovar a teoria crítica e reinventar a emancipação social. São Paulo: Boitempo, 2007.
  • SANTOS, Boaventura de Sousa. Para uma pedagogia do conflito. In: FREITAS, Ana Lúcia Sousa de; MORAES, Salete Campos de. Contra o desperdício da experiência: a pedagogia do conflito revisitada. Porto Alegre: Redes Editora, 2009.
  • SANTOS, Boaventura de Sousa. A universidade no Século XXI: para uma reforma democrática e emancipatória da universidade. 3. ed. São Paulo: Cortez, 2011.
  • SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2. ed. Brasília: INEP, 2004.
  • WALTER, Silvana Anita; BACH, Tatiana Marceda. Adeus papel, marca-texto, tesoura e cola: inovando o processo de análise de conteúdo por meio do ATLAS.ti. Revista Administração: Ensino e Pesquisa, Rio de Janeiro, v. 16, n. 2, p. 275-308. 2015. Disponível em: Disponível em: https://raep.emnuvens.com.br/raep/article/view/236 Acesso em: 21 set. 2019
    » https://raep.emnuvens.com.br/raep/article/view/236
  • 1
    Nas funções exercidas, os participantes tiveram a oportunidade de escolher mais de uma opção, resultando na soma dos percentuais superior a cem por cento.
  • 2
    O Núcleo Docente Estruturante (NDE) de um curso de graduação, conforme determina a Resolução CONAES nº 01, de 17 de junho de 2010, constitui-se de um grupo de docentes, com atribuições acadêmicas de acompanhamento, atuante no processo de concepção, consolidação e contínua atualização do projeto pedagógico do curso.
  • 3
    A Comissão Própria (ou Permanente) de Avaliação refere-se a comissão de autoavaliação institucional, conforme determina o artigo 11 da lei nº 10.861/2004 (Lei do SINAES), com as atribuições de conduzir os processos de avaliação internos da instituição, bem como de sistematizar e prestar as informações solicitadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).
  • 4
    Banco de Avaliadores do Sistema Nacional de Avaliação da Educação Superior (BASis) é composto por docentes da Educação Superior capacitados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) para realizar avaliações externas de Instituições de Educação Superior (IES) e dos cursos de graduação. A constituição e manutenção do BASis compete ao Inep, de acordo com o Decreto nº 9.235, de 15 de dezembro de 2017; e é realizada pela Diretoria de Avaliação da Educação Superior (Daes), segundo Portaria Normativa nº 19, de 13 de dezembro de 2017.
  • 5
    Com especial destaque para (1) José Dias Sobrinho, professor e uma das principais referências brasileiras sobre avaliação da educação superior, responsável pela elaboração da proposta inicial do SINAES; (2) Diane Ravitch, historiadora da educação, analista de política educacional e professora pesquisadora norte-americana, responsável por organizar e implementar programas educacionais de governo, tais como o “No Child left Behind”; (3) Michael Apple, educador e sociólogo norte-americano, tendo como principais objetos de estudos a educação e poder, o currículo a cultura de auditoria (accountability) na educação; e (4) Boaventura de Sousa Santos, professor catedrático português, formado em sociologia do direito, tendo como um de seus objetos de estudo a tensão existente entre práticas emancipatórias e regulatórias na educação.
  • 6
    Considerando as pesquisas de Boaventura de Sousa Santos, todo conhecimento é constituído por meio de uma trajetória entre a ignorância e o saber. O caminho entre esses dois pontos pode ser percorrido de várias maneiras sendo que cada passo dado durante esse percurso recebe forte influência de aspectos culturais, políticos e econômicos. A escolha do caminho a ser percorrido entre o ponto “A”, que representa a ignorância, e o ponto “B”, que representa o saber, determina as propriedades do conhecimento constituído, ou seja, a escolha de diferentes caminhos pode gerar diferentes conhecimentos. Desta forma, os dois modelos principais para a construção do conhecimento propostos pelo autor são o (1) Modelo Regulatório, que leva ao conhecimento-como-regulação; e (2) o Modelo Emancipatório, que leva ao conhecimento-como-emancipação.

Datas de Publicação

  • Publicação nesta coleção
    07 Set 2020
  • Data do Fascículo
    May-Aug 2020

Histórico

  • Recebido
    29 Set 2019
  • Aceito
    02 Abr 2020
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br