Acessibilidade / Reportar erro

Dez anos de SINAES: um mapeamento de teses e dissertações defendidas no período 2004 - 2014

Ten years of sinaes: a bibliographic mapping of master and doctoral thesis’ produced from 2004 to 2014

Resumos

O Sistema Nacional de Avaliação da Educação Superior (SINAES) foi instituído em 2004, no lugar do Exame Nacional de Cursos (ENC) conhecido, à época, como “Provão”. Em dez anos de vigência, o SINAES passou por várias mudanças e tornou-se objeto de pesquisa de inúmeros programas de pós-graduação no país. O presente estudo é um inventário das teses e dissertações sobre o SINAES defendidas no período entre 2004 e 2014. Utilizamo-nos da Biblioteca Digital de Teses e Dissertações (BDTD) e do Banco de Teses e Dissertações da CAPES. Resultados demonstram que foram produzidas, no período, 101 obras, sendo a maioria sobre o eixo ‘avaliação institucional’ e a minoria sobre ‘avaliação de curso’. Universidade de Brasília é a instituição que mais produziu sobre o SINAES, sendo o professor José Vieira o que orientou o maior número de pesquisas, seguido da Universidade Federal do Ceará e professor Wagner Andriola, respectivamente. Por fim, tal mapeamento permite uma visão panorâmica do que se produziu sobre o SINAES na primeira década de sua existência: tendências, recorrências, silêncios, lugares e pessoas envolvidas com essa temática no país.

Palavras-chaves:
SINAES; educação superior; avaliação


The National System of Evaluation of Higher Education (SINAES) was instituted in 2004, instead of the National Exam of Courses (ENC) known at the time as "Provão". In ten years of existence, the SINAES underwent several changes and became the object of research of numerous graduate programs in the country. The present study is an inventory of theses and dissertations on SINAES defended in the period between 2004 and 2014. We use the Digital Library of Theses and Dissertations (BDTD) and the Bank of Theses and Dissertations of CAPES. Results show that 101 works were produced in the period, most of them being on the 'institutional evaluation' axis and the minority on 'course evaluation'. Brasilia University is the institution that most produced on SINAES, with Professor José Vieira leading the largest number of researches, followed by the Federal University of Ceará and professor Wagner Andriola, respectively. Finally, such mapping allows a panoramic view of what has been produced about SINAES in the first decade of its existence: trends, recurrences, silences, places and people involved with this issue in the country.

Key-words:
SINAES; higher education; assessment


Introdução

No nível de graduação, quando pensamos em processos sistemáticos de avaliação das instituições de ensino superior (IES), as primeiras iniciativas ocorreram em 1993, com o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB). Em seguida, o Exame Nacional de Cursos (ENC), que vigorou de 1995 a 2003 e, por fim, o Sistema Nacional de Avaliação da Educação Superior (SINAES) em 2004, que vigora até os dias atuais.

É possível também analisarmos a historiografia da avaliação da educação superior de maneira mais abrangente e considerarmos as iniciativas empreendidas antes de 1993: Plano Atcon em 1966, Comissão Meira Mattos em 1968, Grupo de Trabalho de julho de 1968, Programa de Avaliação da Reforma Universitária (PARU) em 1983, Comissão Nacional para Reformulação do Ensino Superior (CNRES) em 1985 e o Grupo Executivo para Reformulação do Ensino Superior (GERES) em 1986.

Tais iniciativas antes do PAIUB não se caracterizaram, propriamente, como processos avaliativos contínuos, de medição, comparação e acompanhamento, como ocorrera a partir do PAIUB. O caráter daquelas ações era eventual e fotográfico, ou seja, diagnosticar a situação do ensino universitário no país, naquele dado momento, sem uma preocupação de acompanhamento longitudinal.

As medidas de avaliação da década de 1960 - Plano Atcon, Comissão Meira Mattos e Grupo de Trabalho de Julho de 1968 - tiveram como finalidade última diagnosticar e preparar o cenário para a Reforma Universitária de 1968 (Lei nº 5.540 de 28 de novembro de 1968). Tal reforma previa a modernização administrativa e expansão da rede de universidades federais, bem como a criação de condições jurídico-institucionais que facilitasse a expansão da emergente rede de escolas privadas. A Reforma, ainda que não tornasse isso explícito, também tinha objetivos no campo pedagógico-ideológico. A extinção das cátedras, a criação do sistema de créditos e semestres, por exemplo, diluía o poder e agremiação de professores e alunos, afinal, eram tempos de regime ditatorial militar, e a universidade era um dos redutos de resistência que precisava ser combatido e vigiado.

Após a instauração da Reforma Universitária, não houve novas iniciativas de avaliação durante quinze anos. Somente em 1983, já em clima de redemocratização do país, novas comissões são instituídas para fazer uma espécie de balanço da Reforma e, certo modo, já emoldurar o cenário para a instauração de um novo modelo de avaliação da educação superior, calcado na autonomia das instituições, e não na sua opressão, como vinha ocorrendo até então.

Assim, as avaliações anteriores ao PAIUB são uma espécie de ‘pré-história’ da avaliação da educação superior, pois emanavam estritamente do governo, sem diálogo com as entidades docentes, tampouco estudantis. O objetivo era o controle administrativo e manutenção da ‘ordem e progresso’, tal como preconizado pelos países sob comando ideológico dos Estados Unidos pós-Segunda Guerra Mundial.

O PAIUB foi a primeira tentativa de se avaliar as IES por meio de um sistema, de fato, tendo como epicentro do processo a autoavaliação institucional. O programa tinha como alvo primário a graduação, em que os problemas eram mais urgentes e necessitava de uma ação direta do Estado, mas poderia englobar também a pós-graduação e a extensão. A adesão ao programa era voluntária; cada IES definia se participava ou não e qual de suas esferas de atuação - graduação ou pós-graduação ou extensão - se submeteria ao processo.

O PAIUB não tinha intenções de ranquear instituições. O objetivo era diagnosticar o funcionamento dos cursos e devolver essas informações à própria instituição, que a partir delas tomaria as ações corretivas necessárias. Porém, tal como acontece com várias políticas públicas brasileiras, o PAIUB definhou com a emergência de um novo governo, que trouxe uma nova proposta para a avaliação da educação superior: o governo Fernando Henrique Cardoso e o Exame Nacional de Cursos (ENC), conhecido como “Provão”.

Paulo Renato Souza é nomeado Ministro da Educação. Um novo modelo avaliativo é concebido no lugar do PAIUB: ao invés de avaliações institucionais in locu, aplica-se um exame aos estudantes últimos anistas para aferir conhecimentos e habilidades. Comparecer ao exame era obrigatório para obtenção do diploma, ainda que sua realização efetiva não o fosse. Ou seja, houve muitos boicotes; os alunos compareciam ao exame, preenchiam o formulário básico com dados pessoais para constatação de presença, mas deixavam a prova em branco.

Havia expectativa da sociedade em relação à divulgação dos resultados, ao estilo ‘melhores versus piores’. De uma forma ou de outra, isso ocorreu, em meio a muitas resistências das IES públicas, que sempre se mostraram contrárias a exposições que pudessem servir para algum tipo de ranqueamento. Os oito anos de Provão se desenrolaram em meio a essas tensões, instigando muita polêmica e movimentações por parte das IES, públicas e privadas. Com intenções mercadológicas ou não, o fato é que o Provão forçou escolas a saírem do lugar comum e a repensarem seus processos de ensino-aprendizagem. Ou, pelo menos, a repensarem propostas alternativas de avaliação. O que não se concebia mais, de fato, era a não-avaliação. Isto é, urgia a necessidade de se criar formas de tornar público o que as universidades faziam. O ENC perdurou até 2003, quando então surgiu um novo modelo avaliativo, a reboque de um novo governo que assumira: o SINAES no governo Luís Inácio Lula da Silva.

Neste artigo, traçamos um breve histórico do SINAES, apresentando em seguida um levantamento feito por nós junto à Biblioteca Digital de Teses e Dissertações (BDTD) e Banco de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) de trabalhos cujo o SINAES tenha sido objeto de pesquisa no período de 2004 a 2014. Tal mapeamento nos permite visualizar temáticas, lugares e pessoas debruçadas sobre o estudo dessa política pública no Brasil e, assim, estabelecer conexões, perceber lacunas e pensar novos projetos de pesquisa que contribuam com a compreensão e melhoria do SINAES.

O SINAES: da concepção, à implementação

Por meio da Lei nº 10.861, de 14 de abril de 2004, o SINAES é instituído no país, constituído por três componentes-eixos, que são suas unidades de análise, do geral para o específico: (i) avaliação da instituição; (ii) avaliação do curso e (iii) avaliação do estudante.

A avaliação da instituição ocorre por duas vias: a autoavaliação e a avaliação externa, realizada por uma comissão de especialistas designada pelo MEC. A lei do SINAES, em seu do artigo 11, obriga todas as instituições de ensino superior - públicas e privadas - a constituir uma Comissão Própria de Avaliação (CPA), que será responsável pela coordenação dos processos de avaliação interna da IES. A CPA deve ser composta, equitativamente, por membros de todos os segmentos da comunidade interna: docentes, discentes, funcionários técnico-administrativos e membros da sociedade civil organizada. O texto da Lei deixa claro que é proibido compor uma CPA que privilegie a presença de um segmento em detrimento de outro.

A função precípua da CPA é organizar e coordenar a autoavaliação, considerada o epicentro do SINAES. Os demais processos - avaliação externa, avaliação dos cursos e avaliação dos estudantes - ou partirão da autoavaliação ou a ela convergirão. Talvez seja este o elemento mais marcante que o SINAES, em sua concepção original, herdou do PAIUB: o protagonismo da autovaliação.

O processo de auto-avaliação é o primeiro passo que compõe a avaliação interna, sendo que, na sua sequência, é realizada uma avaliação externa por professores de outras IES do país, especialmente selecionados e capacitados para tal função. Esta fase é desenvolvida in loco por meio de visitas que têm como objetivo verificar informações disponibilizadas anteriormente, conhecer a IES, mas, sobretudo, auxiliar na construção de ações que possam vir a beneficiar o desenvolvimento do ensino oferecido pela IES (POLIDORI et al., 2006POLIDORI, Marlis Morosini; MARINHO-ARAUJO, Claisy M.; Gladys Beatriz, BARREYRO. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: aval. pol. públ. Educação, Rio de Janeiro, v. 14, n. 53, p.425-436, out./dez., 2006., p. 431).

Em 2004, a Comissão Nacional de Avaliação da Educação Superior (CONAES) publicou o documento “Orientações gerais para o roteiro da autoavaliação das instituições”, sugerindo assuntos e caminhos para as CPA realizarem a autoavaliação. Dentre essas sugestões, a de organizar o processo em torno das dez dimensões do SINAES, apresentadas no artigo 3º da lei do SINAES: i) missão e plano de desenvolvimento institucional; ii) políticas de ensino, pesquisa, pós-graduação e extensão; iii) responsabilidade social; iv) comunicação com a sociedade; v) políticas de pessoal; vi) organização e gestão; vii) infraestrutura física, biblioteca, recursos de informação e comunicação; viii) planejamento, avaliação e meta-avaliação; ix) política de atendimento aos estudantes e egressos e x) sustentabilidade financeira.

O manual do CONAES sugere pautar o processo sobre tais dimensões, mas também reforça que a IES tem autonomia para seguir ou não esses parâmetros, criar novos, adaptá-los à realidade institucional. Enfim, o objetivo da autoavaliação é fomentar na comunidade interna uma cultura de permanente reflexão sobre si mesma, sobre seus processos internos, seu papel e sua responsabilidade perante a sociedade. O documento produzido pela CPA nessa fase será analisado pela comissão de especialistas que fará a avaliação externa - esta sim pautada sobremaneira nas dez dimensões - para confrontar, somar e balizar olhares de diferentes perspectivas. As informações produzidas tanto pela CPA como pela comissão externa são recebidas e analisadas pela CONAES, que emite um parecer final e encaminha à IES. Cada uma das dimensões, bem como o conjunto das dez dimensões são pontuadas numa escala com cinco níveis.

O segundo componente - avaliação do curso - é realizado também por uma comissão externa, porém diferente da comissão que avaliou a instituição. Nesta, a equipe é formada, majoritariamente, por especialistas naquela área específica de conhecimento cujo curso está sendo avaliado. Majoritariamente, mas não exclusivamente. Na comissão também há um membro da avaliação anterior - avaliação institucional - cujo papel é contribuir com a composição dos dados produzidos e promover conexões entre a avaliação institucional e a avaliação do curso.

A avaliação de curso também é pautada em dimensões extraídas da Lei 10.861, em seu art. 4º: i) organização didático-pedagógica; ii) perfil do corpo docente, discente e técnico-administrativo; iii) instalações físicas. E cada uma dessas dimensões são avaliadas por meio de uma dada quantidade de indicadores, havendo pesos diferentes para cada dimensão e até mesmo para cada indicador.

Figura 1
Estrutura funcional do SINAES

O conjunto de dados produzido pelo sistema seria recebido e processado por uma comissão - a Comissão Nacional de Avaliação da Educação Superior (CONAES) - uma autarquia federal cujos membros seriam designados pela presidência da república. No projeto original, o CONAES não teria funções executiva nem regulatória, mas sim de coordenação do processo. A operacionalização, propriamente, ficaria por conta do Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira” (Inep) e da Secretaria de Educação Superior (SESu) ligados diretamente ao MEC.

O produto final de todo o processo avaliativo não seria um ranqueamento, mas sim relatórios descritivos das instituições, que subsidiariam tomadas de decisão dos gestores educacionais, públicos e privados. No limite, o objetivo do sistema era fomentar uma cultura permanente de avaliação (e autovaliação) no interior das instituições, procurando desfazer o estigma de auditoria e punição. Mas, como afirma Barreyro (2004BARREYRO, Gladys B. Do Provão ao SINAES: o processo de construção de um novo modelo de avaliação da educação superior. Avaliação, Campinas; Sorocaba, v. 9, n. 1, p.37-49, março 2004., p. 44) “esta visão autoreguladora, talvez um pouco idealista para quem conhece a realidade de algumas instituições privadas, pôde ser um dos motivos da disputa”. E, de fato, o foi, como se verá mais adiante.

No fim do primeiro mandato do presidente Lula, tendo à frente do MEC Fernando Haddad, ocorreu a promulgação do Decreto nº 5.773 de 9 de maio de 2006, conhecido como decreto-ponte, que definia as funções de regulação, supervisão e avaliação dos cursos superiores, reforçando assim o papel fiscalizador do Estado. Segundo Barreyro e Rothen (2006BARREYRO, Gladys B.; ROTHEN, José C. “SINAES” contraditórios: considerações sobre a elaboração e implantação do sistema nacional de avaliação da educação superior. Educação & Sociedade, Campinas, v. 27, n. 96, p. 955-977, 2006., p. 66) “o exercício da função de supervisão do sistema centrou-se na utilização dos resultados do ENADE como balizador para a realização de visitas in loco por especialistas, enviados pelo MEC para verificação”.

No início de 2007, Fernando Haddad visitou a Ordem dos Advogados do Brasil (OAB) e anunciou novos critérios para a abertura de cursos de Direito e Medicina (Portal MEC, 2007). Houve outras aproximações e impasses entre MEC e OAB. Uma delas ocorreu em julho de 2007, quando o MEC autorizou a abertura de vinte novos cursos de Direito, sendo que a OAB deu parecer favorável a apenas um. O MEC declarou que não abriria mão de sua competência de regular e decidir nesta seara. Além disso, outra ação polêmica foi a comparação entre o exame da OAB e o ENADE. Segundo Rothen & Barreiro (2011ROTHEN, José Carlos; BARREYRO, Gladys Beatriz. Avaliação da educação superior no segundo governo Lula: “Provão II” ou a reedição de velhas práticas? Educação & Sociedade, Campinas, v. 32, n. 114, p. 21-38, jan./mar., 2011, p. 29) “pela análise divulgada, dos cursos que obtiveram nota 1 ou 2 no ENADE, só 10% dos seus alunos que fizeram o exame da Ordem foram aprovados”.

Em que pese a gama de críticas que esta suposta equivalência entre o exame da Ordem e o ENADE sofreu, o que se descortinava era um fato novo e marcante no segundo governo Lula: o ENADE, tal como o Provão, assumiria o protagonismo do sistema e passaria a funcionar como uma espécie de índice-base das principais decisões do MEC perante as IES. Conforme Dias Sobrinho (2008, p. 821):

O INEP destituiu a avaliação institucional e erigiu o ENADE - agora um exame estático e somativo, não mais dinâmico e formativo - como centro de sua avaliação, atribuindo-lhe um peso muito maior do que ele tinha antes. Isso não é uma simples mudança de metodologia. É, sim, uma mudança radical do paradigma de avaliação: da produção de significados e reflexão sobre os valores do conhecimento e da formação, para o controle, a seleção, a classificação em escalas numéricas.

Em agosto de 2008, por meio da Portaria Normativa nº 4, o governo cria o Conceito Preliminar de Cursos (CPC) que seria composto pelos resultados do ENADE, dados do Censo da Educação Superior (CESu) e outros insumos institucionais que teriam maior impacto na nota do ENADE, qual seja, equipamentos disponíveis para as aulas, planos de ensino, nível de qualificação e dedicação dos professores aos cursos.

Um fator que recebeu críticos neste novo modelo é que a avaliação dos equipamentos e planos de ensino seria realizada pelos alunos, e não por uma comissão avaliadora externa. O CPC passou a definir, então, quem receberia ou não a comissão de especialistas in loco. Obtendo o conceito 3 ou mais, a IES estaria isenta de receber a comissão. De cerca de 3000 visitas previstas, com a instituição do CPC, 1800 passariam a receber as comissões do MEC. Isso soava como uma espécie de aligeiramento do processo de reconhecimento e um “nivelamento por baixo” das instituições. De acordo com Reynaldo Fernandes, presidente do INEP nessa ocasião, os índices não tinham propriamente a função de dizer quem seriam os melhores, mas sim “a identificação de cursos que não atendem a um nível mínimo de qualidade” (FERNANDES et al., 2009FERNANDES, Reynaldo et al. Avaliação de cursos na educação superior: a função e a mecânica do conceito preliminar de curso. Serie Documental, Brasília, n. 32, p. 5-18, 2009., p. 9).

Uma outra crítica que o CPC sofreu é sobre sua legitimidade jurídica. Como escreve Barreyro e Rothen “A instituição do CPC foi realizada por portaria, como se fosse apenas uma questão operacional decorrente da implementação do SINAES, e não uma mudança central que retoma velhas concepções e discussões sobre os modelos de avaliação da educação superior no país” (2014, p. 70).

Ou seja, uma portaria, que do ponto de vista jurídico se subordina à Lei da qual se trata, promoveu uma mudança substancial no SINAES, afinal de contas, o parágrafo 1º do artigo 4º da Lei do SINAES diz que as visitas de especialistas para avaliação de cursos são obrigatórias. No entanto, a portaria de 2008 define que tais visitam só ocorreriam para cursos e instituições com CPC 1 e 2.

Apenas um mês depois, em setembro de 2008, por meio da Portaria Normativa nº 12, mais um índice é criado: Índice Geral de Cursos (IGC), que se torna o último estágio do processo de conversão do SINAES em um conjunto de índices ranqueáveis.

O IGC é calculado anualmente, a partir da: (i) média ponderada1 1 Média ponderada: média considerando também o número de matrículas em cada um dos cursos avaliados. dos 3 últimos CPC dos cursos avaliados; (ii) média das notas dos programas de pós-graduação stricto senso ponderada pelo número de alunos nestes programas e convertida para uma escala compatível aos cursos de graduação2 2 Quando a IES não tem programa de pós-graduação stricto senso, este insumo é descartado na elaboração do IGC. e a (iii) distribuição dos estudantes entre os diferentes níveis: graduação ou pós-graduação, quando houver.

Como escrevem Barreyro e Rothen (2014BARREYRO, Gladys B.; ROTHEN, José C. Percurso da avaliação da educação superior nos Governos Lula. Educ. Pesqui., São Paulo, v. 40, n. 1, p. 61-76, jan./mar. 2014., p. 71) “a criação do Índice Geral de Cursos (IGC), em setembro de 2008, consolidou a influência na educação superior da tendência internacional de uso de indicadores”. Tal índice funciona como dado preliminar às visitas in loco e os resultados ficam disponíveis para consulta pública no site do Inep na internet.

Um ano depois, em agosto de 2009, o MEC editou a Portaria nº 821 anunciando revisões na mecânica pela qual o CPC seria composto. Uma das críticas feitas ao CPC foi atendida: a diminuição do peso do ENADE na composição do referido índice, bem como a opinião dos estudantes em relação aos insumos institucionais. Em contrapartida, aumentou-se o peso pela presença de professores doutores no quadro docente do curso.

Além dessa nova composição do CPC, em 2009, institui-se uma das mudanças mais importantes no sistema de avaliação: o ENADE deixaria de ser amostral e passaria a ser censitário. Barreyro e Rothen (2006BARREYRO, Gladys B.; ROTHEN, José C. “SINAES” contraditórios: considerações sobre a elaboração e implantação do sistema nacional de avaliação da educação superior. Educação & Sociedade, Campinas, v. 27, n. 96, p. 955-977, 2006., p. 71) apontam que:

Essa mudança foi explicada devido a uma diferença de concepção entre a proposta da CEA e a subjacente aos atuais índices. A utilização de uma amostra, conforme proposto pela CEA em 2004, não é problemática, pois se compreendia que a prova seria apenas um instrumento para diagnóstico do estado da educação superior. Porém, no momento em que o ENADE foi caracterizado como um instrumento para classificação e regulação, as instituições sentiram que a adoção de amostras podia alterar o posicionamento institucional no ranque, ou seja: as amostras permitem certa confiabilidade para conhecer a realidade da educação superior, enquanto o ranque pode gerar desconfianças.

Enfim, o ENADE, cuja propósito inicial era o de fornecer dados complementares para a avaliação institucional, passa a ser protagonista do sistema, tal como o Provão. Instituições e estudantes empreendem esforços para “ir bem na prova”, e não produzir reflexões sobre os sentidos da formação e aperfeiçoamento institucional.

Teses e dissertações sobre o SINAES produzidas entre 2004 e 2014

Utilizamo-nos de dois indexadores de obras de mestrado e doutorado: Biblioteca Digital de Teses e Dissertações (BDTD) e Banco de Teses e Dissertações da CAPES. No web-site de cada um desses indexadores (http://bdtd.ibct.b e http://bancodeteses.capes.gov.br, respectivamente) utilizamos como descritor a palavra ‘sinaes’ e procedemos à busca no campo ‘resumo’ de cada motor de busca.

A Tabela 1 mostra-nos os resultados após a filtragem nossa filtragem considerando: (i) a exclusão das duplicidades3 3 Tanto na BDTD como no Banco da Capes, há obras indexadas em duplicidade, no interior do próprio indexador. Portanto, após a pesquisa, é necessário verificar os resultados, um a um, para desconsiderar os trabalhos duplicados. ; (ii) somente os trabalhos publicados entre 2004 e 2014; (iii) somente as obras em que o SINAES - ou um de seus componentes - era objeto de pesquisa, de fato, e não um dado tangencial de uma pesquisa em outra área. Ainda em relação a este último item, muitas vezes tivemos de recorrer à leitura da introdução e considerações finais dos trabalhos para nos certificarmos do que se tratava, realmente, aquela pesquisa.

Tabela 1
Resultados da busca de teses e dissertações

No Quadro 1 apresentamos a lista dessas obras com o devido título, ano da defesa, autores e orientadores e a instituição onde foi defendida. Além disso, criamos um código formado por M (mestrado) ou D (doutorado) mais um número, que diz respeito tão somente à ordem de apresentação da lista, que está do mais atual (trabalhos de 2014) para os mais antigos (trabalhos de 2004).

Quadro 1
Obras de mestrado e doutorado produzidas entre 2004 e 2014

Ao longo do período pesquisado - 2004 a 2014 - a concentração maior desses btrabalhos está entre os anos de 2011 a 2014, sendo o ano de 2012, notadamente, o com a maior quantidade de obras. O Gráfico 1 ilustra esse cenário.

Gráfico 1
Teses e dissertações sobre o SINAES no período 2004 - 2014

O SINAES foi instituído em 2004, portanto, é compreensível que o número de publicações sobre essa política pública aumente a partir de 3 ou 4 anos depois, conforme os alunos-pesquisadores defendem suas dissertações e teses. A única obra sobre o SINAES em 2004, por exemplo, ainda faz referências sobre os estudos preliminares da Comissão Especial de Avaliação (CEA), ou seja, o SINAES ainda era um projeto em processo de concepção.

É notório o aumento expressivo de obras a partir de 2011, sendo possível dividir essa linha do tempo em dois períodos: (i) período 2004 - 2010 e (ii) período 2011 - 2014. Não temos elementos consistentes neste estudo para explicar tal fato, porém, poderíamos hipotetizar se isto não se deve ao fato de o SINAES ter passado por modificações significativas a partir de 2006, havendo alguns autores, inclusive, que classificam o SINAES em 2 momentos: 1º governo Lula e 2º governo Lula. (BARREYRO; ROTHEN, 2014BARREYRO, Gladys B.; ROTHEN, José C. Percurso da avaliação da educação superior nos Governos Lula. Educ. Pesqui., São Paulo, v. 40, n. 1, p. 61-76, jan./mar. 2014., 2011). Essas modificações dizem respeito, sobremaneira, à criação de índices a partir de 2007, sobre os quais as instituições e cursos passaram a ser ranqueados, o que provocou uma mudança substancial no projeto original da avaliação. Tal “desvirtuamento” do SINAES (DIAS SOBRINHO, 2008DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, SP, , v. 13, n. 3, p. 817-825, nov. 2008.; ROTHEN; BARREYRO, 2011) talvez tenha despertado a curiosidade de pesquisadores cujas obras foram concluídas a partir de 2011.

As pesquisas são oriundas de todo o país, de todas as regiões, das mais diversas universidades. A Tabela 2 mostra-nos a distribuição das obras por cada instituição.

Tabela 2
Teses e dissertações sobre o SINAES por IES

Universidade de Brasília (UnB) e Universidade Federal do Ceará (UFC) são as instituições com o maior número de produções sobre o SINAES, seguidas por PUC São Paulo, Universidade Federal da Bahia e Unicamp.

A Tabela 3 nos permite visualizar a relação de professores que orientaram dois ou mais trabalhos e suas respectivas instituições de origem. Os demais orientadores não listados nesta tabela orientaram somente uma pesquisa.

Tabela 3
Orientadores das teses e dissertações sobre o SINAES e as IES de origem

Do universo de 101 trabalhos, praticamente um terço (33 obras) foram orientados por nove professores. As demais pesquisas (68), foram orientadas por 68 professores, ou seja, uma pesquisa para cada orientador.

E como a Tabela 3 nos mostra, dentre os nove orientadores mais profícuos, há uma sensível concentração em José Vieira de Souza, da Universidade de Brasília (UnB) e Wagner Bandeira Andriola, da Univrsidade Federal do Ceará (UFC). Ambas as instituições, por conta desses pesquisadores, são as mais profícuas na produção de pesquisas sobre o SINAES.

Importante destacar, por fim, que na UFC todos os trabalhos são de mestrado e Wagner Bandeira Andriola é o único professor dessa IES com mais de dois trabalhos sob sua orientação. Na UnB, tanto há trabalhos de mestrado como de doutorado, e além de José Vieira de Souza, há também um outro professor que orientou mais de dois trabalhos: Marília Fonseca.

Na Figura 2 apresentamos a categorização dos trabalhos, identificando-os por meio dos códigos atribuídos na última coluna do Quadro 1. Lemos cada um dos resumos a fim de identificar sobre qual dimensão do SINAES a obra se tratava. A pergunta que tentávamos responder nessa primeira etapa da categorização era: esta obra é sobre (i) avaliação da instituição ou (ii) avaliação de curso ou (iii) avaliação de estudante?

Figura 2
Categorização das obras pelos eixos do SINAES

Como esperado, havia trabalhos facilmente identificáveis, bem como trabalhos que precisamos reservar para uma leitura mais acurada em um segundo momento. E havia também pesquisas que tratavam de dois aspectos do SINAES ao mesmo tempo. A Figura 2 nos mostra que a maior parte dos trabalhos está no eixo Avaliação Institucional, e que praticamente todos os trabalhos desse eixo tratam exclusivamente disso, não havendo interseção com os demais eixos (com exceção do trabalho M49).

Além dos 78 trabalhos categorizados na Figura 2, há outros 28 que se distribuíram em outras categorias que não, propriamente, um ou outro eixo do SINAES. O Quadro 2 nos permite essa visualização geral, portanto, de todos os trabalhos e suas categorias.

Quadro 2
Categorização das obras de mestrado e doutorado sobre o SINAES 2004 - 2014

Considerações finais

Esse estudo, uma espécie de inventário da produção de teses e dissertações sobre o SINAES no período 2004 a 2014, ainda que circunscrito a informações de caráter mais quantitativo do que qualitativo, nos permite uma visão panorâmica do que se produziu nos dez primeiros anos de vigência dessa política pública de avaliação.

Interessados no campo conseguem visualizar tendências temáticas - recorrências e faltas - bem como lugares e pessoas envolvidas com o assunto. Fizemos questão de apresentar, nominalmente, cada uma das obras (Quadro 1), de modo que o leitor pudesse, ele mesmo, questionar e repensar as categorias criadas por nós ou, até mesmo, ante disso, analisar a própria presença ou ausência de obras que, porventura, julgar apropriado ou inapropriado.

Além disso, uma vez que todas essas obras estão disponíveis integralmente nos sítios dos indexadores usados (Banco de Teses e Dissertações da Capes e BDTD), tal quadro pode contribuir com uma agenda de leituras - sobretudo de pesquisadores em formação (mestrandos e doutorandos) - para uma imersão no campo e estabelecimento de pontos de partida, seja pela convergência, seja pela divergência. Afinal, construção de conhecimento é esse movimento vivo e coletivo. E sempre inacabado.

Referências

  • BARREYRO, Gladys B. Do Provão ao SINAES: o processo de construção de um novo modelo de avaliação da educação superior. Avaliação, Campinas; Sorocaba, v. 9, n. 1, p.37-49, março 2004.
  • BARREYRO, Gladys B.; ROTHEN, José C. “SINAES” contraditórios: considerações sobre a elaboração e implantação do sistema nacional de avaliação da educação superior. Educação & Sociedade, Campinas, v. 27, n. 96, p. 955-977, 2006.
  • BARREYRO, Gladys B.; ROTHEN, José C. Percurso da avaliação da educação superior nos Governos Lula. Educ. Pesqui., São Paulo, v. 40, n. 1, p. 61-76, jan./mar. 2014.
  • DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, SP, , v. 13, n. 3, p. 817-825, nov. 2008.
  • FERNANDES, Reynaldo et al. Avaliação de cursos na educação superior: a função e a mecânica do conceito preliminar de curso. Serie Documental, Brasília, n. 32, p. 5-18, 2009.
  • POLIDORI, Marlis Morosini; MARINHO-ARAUJO, Claisy M.; Gladys Beatriz, BARREYRO. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: aval. pol. públ. Educação, Rio de Janeiro, v. 14, n. 53, p.425-436, out./dez., 2006.
  • ROTHEN, José Carlos; BARREYRO, Gladys Beatriz. Avaliação da educação superior no segundo governo Lula: “Provão II” ou a reedição de velhas práticas? Educação & Sociedade, Campinas, v. 32, n. 114, p. 21-38, jan./mar., 2011
  • 1
    Média ponderada: média considerando também o número de matrículas em cada um dos cursos avaliados.
  • 2
    Quando a IES não tem programa de pós-graduação stricto senso, este insumo é descartado na elaboração do IGC.
  • 3
    Tanto na BDTD como no Banco da Capes, há obras indexadas em duplicidade, no interior do próprio indexador. Portanto, após a pesquisa, é necessário verificar os resultados, um a um, para desconsiderar os trabalhos duplicados.

Datas de Publicação

  • Publicação nesta coleção
    Sep-Dec 2017

Histórico

  • Recebido
    17 Dez 2015
  • Aceito
    04 Jul 2017
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br