Avaliação da educação superior no Brasil: análise do Índice Geral dos Cursos (IGC) numa perspectiva quali/quantitativa

Evaluation of higher education in Brazil: Analysis of the Course Index (IGC) in a quali/quantitative perspective

Resumos

O texto aborda o Sistema Nacional de Avaliação do Ensino Superior - SINAES, instituído pela Lei 10. 861, de 2004, orientado por meio de indicadores de qualidade sendo, o Índice Geral dos Cursos - IGC, resultante do CPC - Conceito Preliminar de Curso, referente a graduação, e pelo Conceito Capes, indicador da qualidade dos cursos de pós-graduação stricto sensu. Pretendeu-se analisar, de forma quantitativa e qualitativa se o IGC ao considerar as realidades distintas dessas duas estruturas, graduação e pós-graduação, de formação acadêmica em um só indicador, não desvirtua mais ainda essa medida, quando pretende representar o quanto de qualidade possui uma IES? Responder essa questão se constitui o propósito desse artigo, ou seja, investigar a representatividade do IGC como efetivo conceito da qualidade das IES, analisando-se, em separado, como se comportam as medidas da graduação e da pós-graduação expressas no modelo matemático desse indicador. Como ponto de corte, decidiu-se trabalhar somente com os cursos ofertados pelas universidades federais. Portanto, nesse estudo, ao chamarmos atenção para a composição do cálculo do IGC, incorporando dados de mestrado e doutorado para indicar a qualidade dos cursos de graduação das universidades queremos lançar um olhar crítico sobre se tal composição espelha, de fato, a qualidade dos cursos de graduação.

Palavras-chave:
Ensino superior; Indicadores de qualidade; SINAES; IGC

The text covers the Sistema Nacional de Avaliação do Ensino Superior - SINAES, instituted by Law 10,861, of 2004, guided by means of quality indicators: the Índice Geral dos Cursos - IGC, resulting from CPC - Conceito Preliminar de Curso, referring to graduation, and by the Capes Concept, an indicator of the quality of postgraduate courses. We analyzed, in a quantitative and qualitative way, if the IGC, when considering the distinct realities of the of academic formation, undergraduate and postgraduate, in a single indicator, does not further distort this measure, when used with the intention to represent how much quality an IES (Instituto de Ensino Superior) has? Answering this question constitutes the purpose of this article, that is, to investigate the representativeness of the IGC as an effective concept of the quality of the IES, analyzing, separately, how the results for graduate and postgraduate students behave as expressed in the mathematical model of that indicator. As a cut-off point, we decided to work only with the courses offered by the federal universities. Therefore, in this study, when we studying the IGC calculation, which incorporates master and doctorate data to indicate the quality of undergraduate courses at universities, we want to take a critical look at whether such measure actually reflects the quality of the courses of graduation.

Keywords:
Higher education. SINAES. Quality indicators; IGC.

Introdução

As políticas brasileiras voltadas para a melhoria da qualidade da educação e para a avaliação do sistema educacional, implementadas pelo Ministério da Educação (MEC) a partir da década de 1990, são decorrências da Constituição de 1988 que estabelece como dever do Estado, a garantia de padrão de qualidade do ensino (Art. 206, Inc. VII); do Poder Público, a autorização e avaliação da qualidade do ensino ministrado pela iniciativa privada (Art. 208, Inc. II) e a busca da melhoria da qualidade do ensino (Art. 214, Inc. III). Ações concretas de avaliação da qualidade da educação, com configuração própria, ganharam maior relevo com o sancionamento da atual Lei de Diretrizes e Bases da Educação Nacional (LDB) (BRASIL, 1996), que, no seu Art. 9º, Incisos VI, VIII e IX, reitera o dever constitucional do Estado com a avaliação da educação, incumbindo a União de: assegurar processo nacional de avaliação do rendimento escolar, objetivando a definição de prioridades e a melhoria da qualidade do ensino; assegurar processo nacional de avaliação das instituições de ensino superior; e autorizar, reconhecer, credenciar, supervisionar e avaliar os cursos e as instituições de educação superior.

A criação de uma legislação, como garantia da qualidade dos serviços educacionais pode, também, como nos alerta Mancebo (2008, p. 58-59), nos dar mais subsídios para entender o cenário tais como: a) a racionalização de recursos, minimizando a centralidade dos Estados na manutenção da educação; b) adoção de avaliações gerenciais para controlar o sistema educativo; c) flexibilização da gestão, justificada para a ampliação do sistema; d) descentralização gerencial no âmbito administrativo e, por fim, e) privatização dos sistemas educacionais, com o (des)investimento do Estado na educação e também a delegação de responsabilidades públicas para instituições privadas.

Estes princípios produzem uma reconfiguração da oferta do ensino, especialmente do ensino superior, com o estímulo a uma série de “ações delegatórias” para iniciativas empresariais com a finalidade de substituir totalmente ou parcialmente as responsabilidades do Estado, assim como a mercantilização do conhecimento e da educação (MANCEBO, 2008). Não se pode esquecer que este processo de reconfiguração da educação superior acelerou o processo de privatização e também de mercantilização do ensino universitário, afetando sobremaneira as instituições públicas.

Foi num contexto de transformações da sociedade e de expansão do ensino superior brasileiro, principalmente no setor privado; de aprovação de novas leis da educação e articulação de pesquisadores e professores da área da avaliação educacional que o MEC designa, por meio das Portarias MEC/SESU nº 11 de 28 de abril de 2003 e nº 19 de 27 de maio de 2003, a Comissão Especial da Avaliação da Educação Superior - CEA, instaurada em 29 de abril, do mesmo ano, pelo então ministro da educação Cristovam Buarque e presidida pelo professor José Dias Sobrinho renomado pesquisador da Unicamp e expoente brasileiro na área da avaliação educacional, com relevantes e marcantes estudos na área da avaliação institucional. Para Dias Sobrinho (2010, p. 195), “a avaliação é a ferramenta principal da organização e implementação das reformas educacionais”. Portanto, não apenas os sistemas educacionais seriam afetados qualitativamente pelas análises dos resultados obtidos nas avaliações institucionais, mas a sociedade como um todo.

Conforme Lima (2005, p. 92), essa comissão (CEA) idealizou um primeiro projeto, denominado Sistema Nacional de Avaliação da Educação Superior - SINAES, no qual dava “ênfase aos aspectos qualitativos, sem abstrair os aspectos quantitativos”. Já em 15 de dezembro de 2003, através da Medida Provisória 147, o MEC regulamenta essa proposta inicial, com algumas alterações, denominando-a de Sistema Nacional de Avaliação e Progresso do Ensino Superior - SINAPES, no qual a “ênfase [era] nos aspectos quantitativos, com a proposta de estabelecimento do índice de desenvolvimento do ensino superior (IDES), sem abstrair os aspectos qualitativos”.

Finalmente, em 14 de abril de 2004, o CEA/MEC, através da Lei nº 10.861, implanta um novo sistema de avaliação, denominado Sistema Nacional de Avaliação do Ensino Superior - SINAES, com característica autônoma de supervisão estatal que buscava integrar dimensões internas e externas, particulares e globais, dos diversos objetos e objetivos da avaliação, sendo constituído por três componentes principais: a avaliação das instituições, avaliação dos cursos e avaliação do desempenho dos estudantes, como destaca Davok (2006):

O SINAES foi legalmente institucionalizado pela Lei nº 10.861 de 14 de abril de 2004 e seu documento base, ampliado, tem o valor e o mérito como ideias centrais do conceito de avaliação educacional (BRASIL, 2004). Os principais processos de avaliação do SINAES são três: (i) a Avaliação Institucional, subdividida em Auto avaliação (AA), realizada de forma permanente, e Avaliação Externa (AE), realizada com o objetivo de avaliar as IES para fins de credenciamento e recredenciamento e de verificar se elas estão realizando a auto avaliação seguindo o roteiro mínimo e os princípios definidos pela Comissão Nacional de Avaliação da Educação Superior (CONAES); (ii) a Avaliação dos Cursos de Graduação (ACG), realizada para o reconhecimento e renovação de reconhecimento de cursos; (iii) e o Exame Nacional de Desempenho dos Estudantes (ENADE), que se constitui de provas padronizadas aplicadas aos alunos e que é realizado por amostragem, [...] último ano do curso, para verificar o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares dos respectivos cursos de graduação (DAVOK, 2006, p. 17).

De acordo com Lima (2005), esse sistema, de caráter misto, “busca uma integração entre instrumentos que valorizem elementos descritivos e de avaliação semiqualitativa, com elementos que também dão ênfase aos aspectos quantitativos” (LIMA, 2005, p. 92).

Assim, conforme explicitado nos parágrafos acima, tem-se a compreensão de um cenário histórico que, paulatinamente, foi sendo preparado o terreno para a implantação de um processo avaliativo mais sistematizado até se completarem, de fato, num sistema nacional de avaliação no Brasil, como afirma Dias Sobrinho (2010):

O conjunto de políticas setoriais de Educação Superior implementadas a partir de 1995, no Brasil, passou a necessitar de um aparato legal a lhe dar sustentação e de avaliação eficaz ao incremento e ao acompanhamento da expansão quantitativa e diversificação do sistema (DIAS SOBRINHO, 2010, p. 202).

Embora se tenha definido apropriadamente o SINAES e institucionalizado sua implantação através de Lei (nº10.861/2004), Dias Sobrinho (2008) chama atenção para o reducionismo a que se está chegando esse sistema de avaliação, principalmente no tocante a qualidade das Instituições, quando afirma:

A nova fórmula de qualidade resulta da combinação de 3 indicadores: o desempenho do estudante no exame nacional, mais o IDD (Índice de Diferença de Desempenho) e o índice de insumos. Assim, a qualidade medida objetivamente é o produto estatístico dessas informações do estudante (DIAS SOBRINHO, 2008, p. 821).

De forma estruturada, a combinação desses indicadores culmina numa única medida denominado IGC - Índice Geral dos Cursos, indicativa da qualidade das instituições, como mostra a Figura 1, a seguir.

Fonte: INEP/Daes (2019a).

Figura 1 - Medidas que Compõem o IGC/SINAES - 2019

Como se observa, o SINAES é orientado por meio de indicadores sendo, o IGC, resultante do CPC - Conceito Preliminar de Curso, referente a graduação, e pelo Conceito Capes, indicador da qualidade dos cursos de pós-graduação stricto sensu. O CPC, por sua vez, é formado pelo indicador de desempenho dos alunos concluintes dos cursos de graduação, através do Enade - Exame Nacional de Desempenho de Estudantes; pelo IDD - Indicador de Diferença de Desempenho de cada aluno concluinte, dado pela diferença entre a nota obtida no Enade e a nota do Enem - Exame Nacional do Ensino Médio, tido como medida de valor agregado do processo formativo; pela proporção de mestres e doutores que compõe o corpo docente das IES, além das características de seus regimes de trabalho; e pela percepção discente sobre as condições necessárias para seu processo formativo, como mostra o Quadro 1.

Quadro 1
Composição do CPC: Dimensão, Componentes e Pesos Ponderados - 2019

DIMENSÃO	COMPONENTES	PESOS
Desempenho dos estudantes	Nota dos Concluintes no Enade (NC)	20,0%
Valor agregado pelo processo formativo oferecido pelo curso	Nota do Indicador de Diferença entre os Desempenhos Observados e Esperados (NIDD)	35,0%
Corpo Docente	Nota de Proporção de Mestres (NM)	7,5%	30,0%
	Nota de Proporção de Doutores (ND)	15,0%
	Nota de Regime de Trabalho (NR)	7,5%
Percepção Discente sobre as condições do processo formativo	Nota referente à organização didático-pedagógico (NO)	7,5%	15,0%
	Nota referente à infraestrutura e instalações Físicas (NF)	5,0%
	Nota referente às oportunidades de ampliação da formação acadêmica e profissional (NA)	2,5%

• Fonte: INEP/Daes (2019a).

Quando o curso de graduação não apresentar os critérios mínimos para o cálculo do IDD, a dimensão “Desempenho dos Estudantes” passa a ter peso de 55%.

IGC - Índice Geral de Cursos como indicador de qualidade - até que ponto?

Conforme nota técnica do Inep, nº 19/2017/CGCQES/DAES, o IGC é dado pela “[...] média ponderada envolvendo as notas contínuas de Conceitos Preliminares de Curso (NCPC) dos cursos de graduação e os Conceitos CAPES dos programas de pós-graduação stricto sensu das instituições de Educação Superior (IES)” (BRASIL, 2017, p.1).

A estrutura matemática do IGC é a seguinte:

${IGC}_{IES}=\alpha .G_{IES}+\beta .M_{IES}+\gamma .D_{IES}$

onde: G _IES - nota média dos cursos de graduação na IES;

M_IES - nota média dos cursos de mestrado na IES;

D_IES - nota média dos cursos de doutorado na IES;

α é a proporção de matrículas na graduação;

β é a proporção relativa às matrículas nos cursos de mestrado da IES; e

γ é a proporção relativa às matrículas nos cursos de doutorado da IES.

dados por: $\alpha =\frac{T_G}{T_G+T_M+T_D}$;$\beta =\frac{T_M}{T_G+T_M+T_D}$;$\gamma =\frac{T_D}{T_G+T_M+T_D}$;

T_G é o total de matriculados dos cursos de graduação da IES para as quais foi possível calcular o CPC de 2014 a 2016;

T_M é a medida relativa às matrículas nos cursos de mestrado da IES; e

T_D é a medida relativa às matrículas nos cursos de doutorado da IES.

As medidas de G IES , 𝑀 𝐼𝐸𝑆 e 𝐷 𝐼𝐸𝑆 são dadas, respectivamente, por:

$G_{IES}=\sum _{c=1}^n{NCPC}_c{\varnothing }_c$;$M_{IES}={\sum }_{j=1}^m{M}_j{\theta }_j$;$D_{IES}={\sum }_{j=1}^h{D}_j{\gamma }_j$

Onde: NCPC _c é a Nota contínua do Conceito Preliminar de Curso do curso de graduação c;

Ø_c é a razão entre o número de matriculados no curso de graduação c nos respectivos anos de cálculo do NCPC e o total de matriculados em todos os cursos da IES para os quais foi possível calcular o CPC entre 2014 e 2017;

n é o total de cursos da IES;

M_j é a nota do curso de mestrado j da IES;

Ɵ_c é a proporção de matrículas no curso de mestrado j da IES;

m é o total de cursos de mestrado da IES;

D_j é a nota do curso de doutorado da IES;

ϒ_j é a proporção de matrículas no curso de doutorado j da IES;

h é o total de cursos de doutorado da IES.

O resultado do IGC obtido por meio do modelo matemático estruturado acima é uma variável contínua no intervalo entre 0 (zero) e 5 (cinco), transformados em valores discretos, conforme mostra a Tabela 1.

Tabela 1
Parâmetros de conversão do valor contínuo do IGC em faixa - 2019

IGC (Faixas)	IGC (Valor Contínuo)
1	0≤NCj<0,945
2	0,945≤ NCj <1,945
3	1,945≤ NCj <2,945
4	2,945≤ NCj <3,945
5	3,945≤ NCj <5

• Fonte: INEP/Daes (2019a).

Com relação a aceitação e críticas por parte de estudiosos do Ensino Superior aos indicadores, Hoffman et al. (2014, p. 653) afirmam que:

[...] faz-se necessário considerar que os índices de mensuração da qualidade utilizados pelo INEP - Instituto Nacional de Estudos e Pesquisas Anísio Teixeira e que não são amplamente aceitos pela comunidade acadêmica que se dedica aos estudos acerca da educação superior.

O fato desses indicadores terem sido eleitos a posteriori em relação a criação legal do SINAEIS é assunto de constante crítica e estudo.

Como mostrado, o IGC é a medida da qualidade das IES avaliadas pelo SINAES, onde agrega os conceitos obtidos na graduação e na pós-graduação. Além do que já assevera Dias Sobrinho (2008), considerar as realidades distintas dessas duas estruturas de formação acadêmica em um só indicador, não desvirtua mais ainda essa medida, quando pretende representar o quanto de qualidade possui uma IES?

Responder essa questão se constitui o propósito desse artigo, ou seja, investigar a representatividade do IGC como efetivo conceito da qualidade das IES, analisando-se, em separado, como se comportam as medidas da graduação e da pós-graduação expressas no modelo matemático desse indicador.

Como ponto de corte, decidiu-se trabalhar somente com os cursos de graduação, mestrado e doutorado, ofertados pelas universidades públicas federais, e que foram integrantes do Índice Geral de Cursos (IGC), nos triênios de 2007 a 2017.

Periodicidade avaliativa do SINAES

O SINAES se organiza em ciclos avaliativos trienais, cujas avaliações ocorrem anualmente, subdivididas por áreas e eixos tecnológicos homogêneos. Assim, a análise a ser realizada nesse estudo levará em conta a forma como o Inep, através da portaria Normativa MEC nº19, de 13 de dezembro de 2017, revogada pela portaria Normativa MEC nº840, de 24 de agosto de 2018, estruturou os cursos.

Ano I: 2007; 2010; 2013; 2016:

1. Bacharelados nas áreas de Saúde, Ciências Agrárias e áreas afins;

2. Bacharelados nas áreas de Engenharia;

3. Bacharelados na área de Arquitetura e Urbanismo;

4. Cursos Superiores de Tecnologia nas áreas de Ambiente e Saúde, Produção Alimentícia, Recursos Naturais, Militar e Segurança;

Ano II: 2008; 2011; 2014; 2017:

1. Bacharelados nas áreas de Computação e áreas afins;

2. Áreas de avaliação com habilitação em Bacharelado e Licenciatura;

3. Áreas de avaliação com habilitação em Licenciatura;

4. Cursos Superiores de Tecnologia nas áreas de Controle e Processos Industriais, Informação e Comunicação, Infraestrutura, Produção Industrial;

Ano III: 2009; 2012; 2015; 2018:

1. Bacharelados nas áreas de Ciências Sociais Aplicadas, Ciências Humanas e áreas afins; e

2. Cursos Superiores de Tecnologia nas áreas de Gestão e Negócios, Apoio Escolar, Hospitalidade e Lazer, Produção Cultural e Design.

A cada triênio os mesmos cursos são avaliados permitindo-se que as IES, nesse tempo considerado, possam adotar medidas didático pedagógicas e de infraestrutura que possam melhorar suas qualidades, tanto na graduação como na pós-graduação.

Análise dos resultados

Neste momento de análise inicia-se com a observação do comportamento médio das notas médias dos cursos de graduação, mestrado e doutorado, por período trienal, nos anos I, II e III, comparando-se seus resultados com a medida agregada do IGC, além do comportamento dessas medidas, de forma agregada, para todo o período em análise.

Ano I de avaliação

A Tabela 2 apresenta a evolução dos valores médios do IGC e dos conceitos médios dos cursos de graduação, mestrado e doutorado para o Ano I de avaliação, nos triênios de 2007 a 2016.

Tabela 2
Medidas Médias dos Cursos de Graduação, Mestrado e Doutorado, integrantes do IGC/SINAES, nos triênios entre 2007/2016 - Ano I - 2019

Ano I	2007*	2010	2013	2016	Crescimento (%)**
Graduação	...	3,09	2,99	2,99	-3,34
Mestrado	...	3,77	3,77	4,34	15,12
Doutorado	...	2,54	2,52	4,60	81,10
IGC	3,77	3,89	3,93	3,98	2,31

• Fonte: INEP/Daes (2019b).
• (*) Em 2007 o Inep informava o valor do IGC de forma agregada, não discriminando em termos da Graduação, Mestrado ou Doutorado. Assim, para o período 2007/2016 o crescimento percentual seria de 5,57%.
• (**) Crescimento percentual de 2016 referente a 2010.

Observa-se, por essa Tabela 2, que o índice médio do IGC aumentou em 2,31%, de 2010 a 2016. Considerando o ano de 2007 como referência, esse crescimento foi de 5,57% como se observa no rodapé dessa Tabela. Assim, pode-se dizer que, nesse período avaliado, a qualidade das universidades federais cresceu em 2,31% ou 5,57%, conforme o ano de referência.

Observando-se esse indicador de forma desagregada, verifica-se que o conceito de qualidade das universidades federais, em termos dos cursos de doutorado, evoluiu de forma bastante expressiva, saindo de 2,54 em 2010, para 4,60 em 2016 denotando um crescimento de 81,10%. Em relação aos cursos de mestrado, o conceito da qualidade foi também muito bom, evoluindo de 3,77 em 2010, para 4,34 em 2016, representando um crescimento de 15,12%. Considerando somente a graduação, as universidades, ao invés de crescer em qualidade, fez foi diminuir, com uma involução de 3,34%, passando de um conceito de 3,09 em 2010 para 2,99 em 2016.

Considerando somente a pós-graduação, esses indicadores denotam uma importante melhoria na qualidade do conceito das universidades públicas federais, o mesmo não ocorrendo quando se considera somente a graduação. Já nesse Ano I de avaliação, percebe-se que agregar a graduação e a pós-graduação num conceito único, não representa bem a qualidade das universidades federias, como objetiva o IGC.

O Gráfico 1 mostra, de forma mais imediata, como se deu a evolução dos conceitos de qualidade das universidades federais, a partir do IGC e das medidas médias da graduação e pós-graduação, em termos dos mestrados e doutorados.

Gráfico 1
Medidas Médias dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios Compreendidos entre 2007*/2016 - Ano I - 2019

No primeiro triênio desse período [2010 a 2013], observa-se, praticamente, uma constante no comportamento dos índices, com o IGC apresentando o melhor desempenho, variando de 3,89 a 3,93. Os mestrados permaneceram como o mesmo valor médio de nota (3,77), e os doutorados, com um pouco de deflação, saindo de um valore médio de nota de 2,56, em 2010, para 2,52 em 2013. Com a graduação ocorreu a mesma tendência deflacionária, embora um pouco mais acentuada, saindo de uma média de 3,09 em 2010, para 2,99 em 2013. Como se percebe, avaliar a qualidade das universidades federais pelo IGC, não representa bem a realidade em termos da graduação e pós-graduação pois, de forma desagregada, seus indicadores estão abaixo desse, ou seja, a medida da qualidade dessas universidades, pelo IGC, está superestimada, não representando bem, a realidade observada.

No segundo triênio desse período em análise [2013 a 2016], ocorre uma mudança significativa nos indicadores de qualidade da pós-graduação, evoluindo de um conceito médio nos doutorados de 2,52 em 2013, para 4,60 em 2016, e os mestrados, de 3,77 em 2013, para 4,34 em 2016. Nesse triênio, a graduação se manteve com um conceito constante igual a 2,99.

Nesse segundo triênio, observa-se, também, que o IGC não representa bem a qualidade dessas universidades em análise, dado que sua medida média evoluiu de 3,93 em 2010, para 3,98 em 2016, inferior aos conceitos da pós-graduação e superior aos da graduação, ou seja, o IGC está subestimando o valor da qualidade das universidades federais em termos de suas respectivas medidas individuais, e superestimando essa qualidade quando se considera somente a graduação.

Ano II de Avaliação

O Ano II de avaliação considera os triênios compreendidos entre 2008 e 2017, cujos conceitos médios de IGC e dos cursos de graduação e pós-graduação estão representados na Tabela 3, a seguir.

Tabela 3
Conceitos Médios dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios entre 2008/2017 - Ano II - 2019

Ano II	2008*	2011	2014	2017	Crescimento (%)**
Graduação	...	3,11	3,00	3,01	-3,22
Mestrado	...	3,70	4,34	4,39	18,65
Doutorado	...	2,49	4,60	4,70	88,76
IGC	3,83	4,02	4,00	3,98	-1,29

• (*) Em 2008 o Inep informava o valor do IGC de forma agregada, não discriminando em termos da Graduação, Mestrado ou Doutorado. Assim, para o período 2008/2017 o crescimento percentual seria de 3,92%.
• (**) Crescimento percentual de 2017 referente a 2011.
• Fonte: INEP/Daes (2019b).

Como se observa na Tabela 3, o índice médio do IGC diminuiu em 1,29% de 2011 a 2017. Considerando-se o ano de 2008 como referência, o que ocorre é um crescimento de 3,92%, como se observa no rodapé dessa Tabela. Assim, pode-se dizer que, nesse período avaliado, a qualidade das universidades públicas federais decaiu em 1,29% ou cresceu 3,92%, a depender do ano de referência de medida do IGC.

Considerando-se o IGC de forma desagregada, observa-se o mesmo fenômeno ocorrido no Ano I avaliado, ou seja, a depender dos doutorados, a qualidade das universidades federais é ótima, com um indicador que varia de 2,59 em 2011, a 4,70 em 2017, importando num crescimento de 88,76%. Em termos dos mestrados, o conceito de qualidade é também muito bom, com o indicador variando de 3,70 em 2011, a 4,39 em 2017, representando um crescimento de 18,65%. Já com relação à graduação, observa-se uma redução na qualidade das universidades em estudo, onde, em 2010, o indicador da qualidade era 3,11, passando a 3,01 em 2017, ou seja, decaiu a qualidade em 3,22%.

Por esses indicadores, pode-se dizer que, no tocante à pós-graduação, a qualidade das universidades federais que compõe o Ano II em análise é muito boa e crescente. Já com relação à graduação, a qualidade se mostra em declínio. Assim, estimar a qualidade por meio do IGC, para esse Ano II, em análise, também não se mostra muito apropriado.

Um entendimento mais imediato da evolução dos conceitos de qualidade das universidades federais, a partir do IGC e das medidas médias da graduação e pós-graduação, se pode observar no Gráfico 2.

Gráfico 2
Conceitos Médios dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios Compreendidos entre 2008*/2017 - Ano II - 2019

No Gráfico 2, anterior, observa-se uma mudança no padrão de qualidade da pós-graduação, onde, a partir de 2011, os indicadores começam a crescer significativamente, ultrapassando a medida do IGC já em 2014 e permanecendo em ritmo de crescimento até o final do triênio em 2017. O mesmo não acontece com a graduação onde, ao contrário da pós-graduação, o que apresenta é uma tendência de baixa em seu padrão de qualidade e com valor bem inferior ao IGC.

Em 2017, último resultado apresentado nesse Ano II avaliado, observa-se que, pelo IGC, o conceito de qualidade das universidades federais, considerando-se a pós-graduação, está subestimado. Considerando a qualidade dessas universidades tendo, como referência, somente os cursos de graduação, observa-se que o IGC está superestimando sua real qualidade, quando apresenta um índice de qualidade superior ao efetivo, na graduação, como mostra o Gráfico 2.

Ano III de Avaliação

O Ano III de avaliação, compreende o período que vai de 2009 a 2015, refletindo-se me dois triênios avaliados. A Tabela 4 mostra como se comportaram o IGC, a graduação e a pós-graduação, em termos dos indicadores de qualidade.

Tabela 4
Conceitos Médios dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios 2009/2015 - Ano III - 2019

Ano III	2009*	2012	2015	Crescimento (%)**
Graduação	2,99	3,06	2,97	-0,67
Mestrado	3,82	3,64	4,35	13,84
Doutorado	2,64	2,47	4,65	76,14
IGC	3,89	3,94	3,94	1,29

• Fonte: INEP/Daes (2019b). (*) - Crescimento percentual de 2015 referente a 2009.

Pela Tabela 4 observa-se que o IGC cresceu apenas 1,29% entre 2009 e 2015, com índices variando entre 3,89 e 3,94, respectivamente, indicando baixo crescimento de qualidade das universidades federais, nesse Ano III, em avaliação.

A exemplo dos outros Anos avaliados (I e II), quando a análise se deteve a nível da graduação e pós-graduação, a questão da qualidade se mostrou de forma bastante diferente. Se a qualidade das universidades fosse avaliada levando-se em consideração somente a pós-graduação, dir-se-ia que o IGC é um indicador bastante inadequado para tal fim, dado que, de 2009 a 2015, tendo-se por base somente a pós-graduação, a qualidade das universidades federais cresceu 76,14%, evoluindo de um conceito médio igual a 2,64 em 2009, para 4,65 em 2015. De tendência semelhante, considerando-se apenas os cursos de mestrados, a qualidade das universidades federais cresceu, para esse mesmo período, 13,84%, partindo de um conceito médio igual a 3,82 em 2009, para 4,35 em 2015.

A graduação, como se vem observando, não vem incrementando qualidade às universidades, dado o valor deflacionário de seu indicador médio quando, em 2009, o indicador médio de seus cursos era igual a 2,99, chegando a 2,97 em 2015.

Mais uma vez, o IGC se mostra ineficaz para expressar a qualidade das universidades federais por incorporar, em sua construção, realidades tão distintas de gestão. O Gráfico 3 expressa esse movimento de forma muito mais imediata.

Gráfico 3
Conceitos Médios dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios Compreendidos entre 2009/2015 - Ano III - 2019

Por esse Gráfico 3, observa-se que no primeiro triênio analisado, o IGC superestima a medida de qualidade das universidades federais quando apresenta uma medida de qualidade superior aos da graduação e pós-graduação. Já no triênio seguinte [2012-2015], o conceito de qualidade das universidades, considerando os indicadores de mestrado ou doutorado, de per si, se encontram subestimados pelo IGC, que apresenta medida ínfero a esses, respectivamente. Mais agravante ainda, se observa, quando se considera somente a graduação como referência da qualidade das universidades, em comparação com o índice do IGC. Sua medida média é significativamente menor tendo, o IGC, superestimado, por demais, sua efetiva qualidade.

Anos I, II e III de Avaliação, de Forma Agregada

Como visto, os vários cursos das universidades federais, em estudo, foram organizados por áreas de atuação (bacharelado e licenciatura), sendo avaliados anualmente e de forma trienal, por blocos de cursos, ou seja, um mesmo conjunto de cursos sendo considerado a cada três anos e denominados por Ano I, II e III de avaliação e de forma cíclica, sendo-lhe atribuídos conceitos que variam de 1 (um) a 5 (cinco). A análise foi realizada para cada Ano (I, II e III) em separado, no entanto, almejando-se uma visão sistêmica, agregada, desse conjunto, a Tabela 5 apresenta a evolução do IGC e das medidas médias dos cursos de graduação, mestrados e doutorados para o período completo da análise, ou seja, de 2007 a 2017.

Tabela 5
Conceitos Médios dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios de 2007 a 2017 - Anos I, II e III - 2019

Curso	2007*	2008*	2009	2010	2011	2012
Graduação	...	...	2,99	3,09	3,11	3,06
Mestrado	...	...	3,82	3,77	3,70	3,64
Doutorado	...	...	2,64	2,54	2,49	2,47
IGC	3,77	3,83	3,89	3,89	4,02	3,94
Curso	2013	2014	2015	2016	2017	Crescimento (%)**
Graduação	2,99	3,00	2,97	2,99	3,01	0,67
Mestrado	3,77	4,34	4,35	4,34	4,39	14,92
Doutorado	2,52	4,60	4,65	4,60	4,70	78,03
IGC	3,93	4,00	3,94	3,98	3,98	2,31

• Fonte: INEP/Daes (2019b).
• (*) Em 2007 e 2008 o Inep informava o valor do IGC de forma agregada, não discriminando em termos da Graduação, Mestrado ou Doutorado. Assim, para o período 2007/2017 o crescimento percentual seria de 5,57%, enquanto para 2008/2017, seria de 3,92%.
• (**) Crescimento percentual de 2017 referente a 2009.

Como se observa, os cursos que mais evoluíram em seus conceitos médios foram os doutorados, com um crescimento de 78,03% [2009 - 2017], saindo de 2,64 em 2009, para 4,70 em 2017. Os cursos de mestrados vieram logo em seguida com um crescimento de 14,92% [2009 - 2017], saindo de 3,82 em 2009, para 4,39 em 2017. Quem menos evoluiu foram os cursos de graduação com um crescimento de apenas 0,67% [2009 - 2017], saindo de 2,99 em 2009, para 3,01 em 2017. Com relação ao IGC, seu crescimento foi de apenas 2,31%, evoluindo de 3,93 em 2009, para 3,98 em 2017.

As notas atribuídas à graduação, mestrado e doutorado, representadas pelo IGC, indicam uma medida da qualidade das IES numa composição de média desses valores, como já se viu ao longo desse texto. No entanto, pelas peculiaridades distintas entre a graduação e a pós-graduação, esse indicador (IGC), ao incorporar numa só medida as realidades da graduação e pós-graduação, aqui expressas pelas notas médias alcançadas em seus mais diversos cursos, se mostra inadequada como medida geral da qualidade das IES, claramente visto na Tabela 5 e Gráfico 4, quando se observa, principalmente, a evolução das medidas obtidas pela graduação que, em todo o período avaliado [2007 - 2017], se manteve bem abaixo dos valores indicados pelo IGC, o que não ocorreu com a pós-graduação. O Gráfico 4 apresenta, de forma mais imediata, como se deram esses crescimentos.

Gráfico 4
Conceitos Médios dos Cursos de Graduação, Mestrado e Doutorado, Integrantes do IGC/SINAES, nos Triênios de 2007 a 2017 - Anos I, II e III - 2019

Observando-se as séries históricas do conteúdo do Gráfico 4, percebe-se uma mudança de atitude nos mestrados e doutorados no ano 2013 onde, por influência da CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, responsável pelos cursos stricto sensu, ocorre uma alteração em suas notas medias. De 2013 para 2014, os doutorados evoluíram nessa medida de 2,52 para 4,60, enquanto os mestrados, de 3,93 para 4,34, superando o IGC, que era 3,93, passando a 4,00. Com relação a graduação, o conceito tem se mantido em torno de 3,0, dando a entender que os órgãos responsáveis por essa categoria acadêmica não têm tomado as devidas medidas para a melhoria de sua qualidade. De 2009 a 2017, as notas médias dos mestrados aumentaram em 14,92%, os doutorados em 78,03%, enquanto a graduação, em apenas 0,67%. No caso do IGC, o aumento foi de 2,31%. Assim, utilizar o IGC em sua composição atual para expressar a qualidade das IES, no caso das universidades federais, não parece ser uma medida apropriada, dado que, ao incorporar os conceitos das Graduações e Pós-Graduações em um só modelo matemático, ora subestima um, ora superestima outro.

Considerações complementares

Ao dar-se atenção para a composição do cálculo do IGC, incorporando dados de mestrado e doutorado para indicar a qualidade dos cursos de graduação das universidades, acredita-se que isso superestima as notas atribuídas gerando assim uma ideia distorcida da graduação.

Agregar tantas dimensões em um só indicador (IGC), tais como o desempenho dos estudantes (NC), o valor agregado pelo processo formativo oferecido pelo curso (NIDD), corpo docente (número de mestres, doutores e regime de trabalho), e a percepção discente sobre as condições do processo formativo (organização didático pedagógica, infraestrutura e instalações físicas, e as oportunidade de ampliação da formação acadêmica e profissional) como consta no Quadro 1 anterior, além dos conceitos stricto sensu da pós-graduação, passou a apresentar uma concepção distorcida do SINAES, posto que põe de lado a integração entre os diferentes instrumentos de avaliação do sistema, como os relatórios gerados por especialistas externos após as visitas in loco, das autoavaliações institucionais lideradas pelas Comissões Próprios de Avaliação - CPA’s e até mesmo de um estudo mais aprofundado do Relatório de Curso elaborado pelo INEP após os estudantes passarem pelo ENADE.

Observou-se, na amostra selecionada de universidade públicas federais, que os cursos que mais evoluíram em seus conceitos médios foram os doutorados, com um crescimento superior a setenta por cento (78,03%) entre os anos de 2009 a 2017, saindo de 2,64 em 2009, para 4,70 em 2017. Os cursos de mestrados vieram logo em seguida com um crescimento de aproximadamente quinze por cento (14,92%) no mesmo período, saindo de 3,82 em 2009, para 4,39 em 2017. Quem menos evoluiu foram os cursos de graduação com um crescimento de apenas 0,67%, no mesmo período, saindo de 2,99 em 2009, para 3,01 em 2017. Com relação ao IGC, seu crescimento foi de apenas 2,31%, evoluindo de 3,93 em 2009, para 3,98 em 2017.

Portanto, constatou-se na análise, que avaliar a qualidade das universidades públicas federais pelo IGC, da forma no qual está composto, não capta e representa bem a realidade das instituições e seus cursos, mormente em termos de graduação.

De forma desagregada, seus indicadores estão abaixo desse, ou seja, a medida da qualidade dessas universidades pelo IGC, no tocante a graduação, está superestimada, não representando de forma consistente, a realidade observada.

Essa aplicação da medida de IGC, além das distorções apontadas, precisa considerar a diversidade presente em um país continental como o Brasil, com particularidades e peculiaridades regionais.

Por fim, afirma-se que a riqueza do SINAIS está na pluralidade de observação dos vários indicadores, em diferentes momentos da Avaliação Institucional que agrega, avaliação externa, autoavaliação e ENADE, as diferentes avaliações sendo analisadas de forma agregada observando a diversidade do sistema de ensino superior, suas peculiaridades e autonomia universitária.

Acima de tudo os processos avaliativos precisam levar ao autoconhecimento institucional, para chegar-se a um parâmetro de qualidade que amplie a satisfação da comunidade acadêmica e, principalmente, a toda a sociedade que por meio de seus impostos financia as instituições públicas de ensino superior.

Referências

• BRASIL. Constituição da República Federativa do Brasil de 1988. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm Acesso em: 7 mar. 2019
  » http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm
• BRASIL. Lei de Diretrizes e Bases - Lei nº 9.394/96, de 20 de dezembro de 1996. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/LEIS/L9394.htm Acesso em: 14 set. 2018
  » http://www.planalto.gov.br/ccivil_03/LEIS/L9394.htm
• BRASIL. SINAES: bases para uma nova proposta de avaliação da educação superior. Brasília: INEP, 2003
• BRASIL. Lei 10.861 de 14/04/2004 e Portaria Normativa 40 republicada em 29/12/2009. Legislação e Normas. MEC. Disponível em:Disponível em:http://portal.mec.gov.br/conaes-comissao-nacional-de-avaliacao-da-educacao-superior/legislacao-e-normas Acesso em: 21 out. 2018
  » http://portal.mec.gov.br/conaes-comissao-nacional-de-avaliacao-da-educacao-superior/legislacao-e-normas
• BRASIL. Portaria Normativa INEP, nº 840 de 24 de agosto de 2018. Disponível em: Disponível em: http://download.inep.gov.br/educacao_superior/indicadores/legislacao/2018/portaria_normativa_MEC_n840_de_24-08-2018-republicacao_31-08-2018.pdf Acesso em: 7 mar. 2019
  » http://download.inep.gov.br/educacao_superior/indicadores/legislacao/2018/portaria_normativa_MEC_n840_de_24-08-2018-republicacao_31-08-2018.pdf
• BRASIL. Nota técnica do Inep, nº 39/2017/CGCQES/DAES. 2017. Disponível em: Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2017/nota_tecnica_n19_2018_igc2017.pdf Acesso em: 24 abr. 2019
  » http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2017/nota_tecnica_n19_2018_igc2017.pdf
• BRASIL. Portaria Normativa MEC nº19, de 13 de dezembro de 2017. Disponível em: Disponível em: https://www.semesp.org.br/wp-content/uploads/2017/12/PORTARIA-NORMATIVA-MEC-N-19-DE-13-DE-DEZEMBRO-DE-2017.pdf Acesso em: 3 mar. 2018
  » https://www.semesp.org.br/wp-content/uploads/2017/12/PORTARIA-NORMATIVA-MEC-N-19-DE-13-DE-DEZEMBRO-DE-2017.pdf
• DAVOK, Delsi Fries. Modelo de meta-avaliação de processos de avaliação da qualidade de cursos de graduação. 2006. 272 p. Tese (Doutorado) - Universidade Federal de Santa Catarina, Florianópolis, 2006
• DIAS SOBRINHO, José. Qualidade, Avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/284/285 Acesso em: 12 fev. 2019
  » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/284/285
• DIAS SOBRINHO, José. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao Sinaes. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p. 195-224, 2010. Disponível em: Disponível em: http://dx.doi.org/10.1590/S1414-40772010000100011 Acesso em: 5 mar. 2019
  » http://dx.doi.org/10.1590/S1414-40772010000100011
• HOFFMAN, Celina et al. Desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educ. Pesqui., São Paulo, v. 40, n. 3, p. 651-665, 2014. Disponível em: Disponível em: https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022014000300005&lng=pt&nrm=iso&tlng=pt Acesso em: 25 jan. 2019
  » https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022014000300005&lng=pt&nrm=iso&tlng=pt
• INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. DAES - Diretoria de Avaliação da Educação Superior. Disponível em: Disponível em: http://portal.inep.gov.br/web/guest/indicadores-de-qualidade Acesso em: 15 abr. 2019a
  » http://portal.inep.gov.br/web/guest/indicadores-de-qualidade
• INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. DAES - Diretoria de Avaliação da Educação Superior. Disponível em: Disponível em: http://portal.inep.gov.br/educacao-superior/indicadores-de-qualidade/resultados Acesso em: 15 abril 2019b
  » http://portal.inep.gov.br/educacao-superior/indicadores-de-qualidade/resultados
• LIMA, Marcos Antônio Martins. A avaliação no contexto histórico brasileiro recente da educação superior. Avaliação, Campinas; Sorocaba, v. 10, n. 2, p. 83-95, 2005. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/1307 Acesso em: 25 jan. 2019
  » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/1307
• MANCEBO, Deise. Reforma da educação superior: o debate sobre a igualdade no acesso. In: BITTAR, M.; OLIVEIRA, J.; MOROSINI, M. (org.). Educação superior no Brasil: 10 anos pós LDB. Brasília: INEP , 2008. p. 55-70

Datas de Publicação

• Publicação nesta coleção
  18 Nov 2020
• Data do Fascículo
  Sep-Dec 2020

Histórico

• Recebido
  01 Maio 2019
• Aceito
  30 Maio 2020