Mudanças nos pesos do CPC e seu impacto nos resultados de avaliação em universidades federais e privadas

Changes in the weights of the CPC and their impact on results of evaluation in federal and private universities

Hélio Radke Bittencourt^I; Lorí Viali^II; Alziro Cesar de Morais Rodrigues^III; Alam de Oliveira Casartelli^IV

^IProfessor de Estatística da Faculdade de Matemática da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) e Doutorando em Geografia pela Universidade Federal do Rio Grande do Sul (UFRGS). E-mail: [e-mail].

^IIProfessor de Estatística da Faculdade de Matemática da PUCRS e UFRGS. Doutor em Engenharia de Produção pela Universidade Federal de Santa Catarina (UFSC) E-mail: [e-mail] ^IIIProfessor da Faculdade de Administração, Contabilidade e Economia da PUCRS, Doutor em Administração pela École des Hautes Études Commerciales (França). E-mail: [e-mail] ^IVProfessor da Faculdade de Administração, Contabilidade e Economia da PUCRS, Doutor em Comunicação Social pela PUCRS. E-mail: [e-mail]

RESUMO

Desde a implantação do Sistema Nacional de Avaliação da Educação Superior (SINAES), no ano de 2004, o Ministério da Educação (MEC), por meio do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), vem promovendo modificações em relação à forma de avaliação dos cursos de graduação brasileiros que incluem a criação de novos conceitos e alterações na composição e nos pesos dos conceitos derivados do Exame Nacional de Desempenho de Estudantes (Enade). Além disso, a transparência na divulgação dos resultados é cada vez maior. Na edição 2008 do Enade, a divulgação detalhada dos resultados permitiu uma análise minuciosa do principal indicador oficial da qualidade dos cursos de graduação brasileiros - o Conceito Preliminar de Curso (CPC). Este trabalho tem por objetivo analisar o efeito das ponderações utilizadas no CPC e, principalmente, examinar o impacto que eventuais mudanças teriam sobre os conceitos de cursos oferecidos por universidades privadas e federais brasileiras.

Palavras-chave: Educação superior. Enade, CPC. Avaliação educacional.

ABSTRACT

Since the implementation of the National Higher Education Evaluation System (SINAES), in 2004, the Ministry of Education (MEC) through the National Institute of Educational Studies and Research Anisio Teixeira (INEP) is promoting changes related to the evaluation of undergraduate programs in Brazil. Such changes include the creation of new concepts and modifications in the composition and in the weights of the concepts derived from the National Student Performance Exam (Enade). Furthermore, transparency in the dissemination of results is increasing. In the 2008 edition of Enade, a detailed disclosure of the results allowed a rigorous analysis of the main official indicator of the quality of undergraduate programs in Brazil, the CPC (Preliminary Program Rating). This paper aims to analyze the effect of the weights used in the CPC, and especially consider the impact that some changes would have on the CPC of programs offered by private and federal universities in Brazil.

Key words: Higher education. Enade, CPC. Educational evaluation.

INTRODUÇÃO

Desde sua implantação em 2004, o Sistema Nacional de Avaliação da Educação Superior (SINAES) tem sido alvo de críticas por parte de pesquisadores da área de avaliação (BARREYRO, 2008; DIAS SOBRINHO, 2008; GIOLO, 2008; POLIDORI, 2009; DIAS; HORIGUELA; MARCHELLI, 2006). Muitas dessas críticas apontam para a perda de foco da proposta original do SINAES, que previa a contemplação de três dimensões: avaliação institucional, avaliação de cursos e avaliação do desempenho dos estudantes, mas que, de fato, tem supervalorizado o Exame Nacional de Desempenho de Estudantes (Enade).

Ao acompanhar o Enade, desde a sua primeira edição, percebe-se que muitas das modificações promovidas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) foram motivadas por críticas que partiram de instituições de ensino superior (IES), especialmente de natureza privada. A criação do Indicador de Diferença de Desempenho (IDD) na segunda edição do Enade, por exemplo, procurou neutralizar o efeito gerado por diferentes níveis de dificuldade de ingresso. De um modo geral, as IES públicas, especialmente as federais, apresentam níveis de concorrência (relação candidatos por vaga) muito mais altos do que IES do setor privado, conforme pode ser visto na Figura 1. Para Bittencourt et al. (2008), o IDD foi exitoso do ponto de vista técnico ao evitar que uma concorrência sete vezes maior viesse a favorecer instituições federais.

Em agosto de 2008 foi divulgado o Conceito Preliminar de Curso (CPC), que é o terceiro conceito derivado dos resultados do Enade, com duas novidades em relação aos seus antecessores. A primeira é que as informações oriundas do Enade e do questionário socioeconômico deixaram de ser a única fonte de informação, visto que também passaram a ser considerados os dados de titulação e o regime de trabalho dos professores nas IES. A segunda novidade é que o CPC passou a incorporar informações previstas no artigo 20 da portaria nº 2.051 de 2004, que regulamenta os procedimentos de avaliação do SINAES. Esse artigo estabelece que os seguintes aspectos devem ser considerados na avaliação de cursos de graduação:

I - perfil do corpo docente;

II - condições das instalações físicas;

III - organização didático-pedagógica;

IV - desempenho de estudantes no ENADE;

V - informações do questionário socioeconômico;

VI - dados atualizados do Censo da Educação Superior;

VII - outros aspectos julgados pertinentes pela Comissão Nacional de Avaliação da Educação Superior (Conaes).

De fato, o CPC passou a considerar todos os aspectos citados na sua composição. A própria definição encontrada em INEP (2009a) trata o CPC como um indicador que consubstancia diferentes variáveis que traduzem resultados da avaliação de desempenho de estudantes, infraestrutura e instalações, recursos didático-pedagógicos e corpo docente.

A ponderação atribuída aos elementos que compõem o CPC e, em especial, a forma como a infraestrutura, instalações físicas e recursos didático-pedagógicos foram contemplados alimentou discussões em torno do tema (POLIDORI, 2009; BITTENCOURT; CASARTELLI; RODRIGUES, 2009). Na edição de 2008 do Enade, divulgada primeiramente em setembro de 2009, o INEP promoveu alterações nas ponderações e na composição do CPC, conforme mostrado na Tabela 1. Em dezembro de 2009 foi divulgada uma versão revisada das notas e conceitos derivados do Enade 2008.

À primeira vista chama atenção o aumento na ponderação destinada ao percentual de professores com titulação de mestre (de 0 para 5%) ou doutor (de 12 para 20%). Essa modificação aumentou de 12% para 25% o peso atribuído à titulação do corpo docente. A ponderação do conceito Enade no cômputo do CPC também sofreu uma modificação significativa, com uma redução de 10%, além de mudanças na forma de cálculo. Os outros componentes do CPC sofreram modificações menos impactantes e o IDD permaneceu inalterado.

Além das modificações nas ponderações apresentadas na Tabela 1, o INEP inovou na divulgação do CPC ao apresentar as notas de cada componente de maneira separada. Esse fato possibilitou uma análise mais detalhada e aprofundada dos resultados, suscitando a discussão que deu origem ao presente artigo cujo objetivo é analisar o efeito das ponderações utilizadas no CPC e, principalmente, examinar o impacto que eventuais mudanças na ponderação teriam sobre o CPC dos cursos oferecidos por universidades brasileiras. Partindo do princípio de que parte das críticas ao indicador tem origem em universidades privadas (BITTENCOURT et al., 2008), buscou-se fazer uma análise comparativa entre instituições federais e privadas.

2 MÉTODO

Os dados utilizados neste estudo correspondem a um conjunto de 2773 cursos extraído de planilha disponibilizada pelo INEP com a decomposição do CPC, dos quais 1951 cursos receberam esse conceito (INEP, 2009b). A planilha tem como base os resultados do Enade 2008 e refere-se apenas aos cursos oferecidos por universidades federais e privadas, haja vista o interesse na comparação entre esses dois tipos de organização. Em razão disso, centros universitários, faculdades e outras organizações acadêmicas não foram incluídas na análise, assim como universidades públicas estaduais e municipais.

Para a realização da análise comparativa entre os CPCs de universidades privadas e de públicas federais foram utilizadas medidas de tendência central e variabilidade, histogramas, gráficos de colunas e as técnicas multivariadas de análise fatorial e análise discriminante. Todas as análises estatísticas foram realizadas no pacote estatístico SPSS versão 11.5 e em planilha Excel.

A escolha da análise fatorial foi fundamental para detectar dimensões subjacentes aos oito componentes do CPC, reduzindo-os a três, de modo a permitir uma análise mais acurada. A análise discriminante, por seu lado, foi essencial para encontrar o peso de cada componente em uma função que melhor discrimine universidades federais de privadas. Como estas duas técnicas não são de uso muito frequente na área da Educação, decidiu-se por incluir breves descrições visando reforçar a compreensão.

A Figura 2 apresenta um fluxograma que resume as etapas que compõem o presente estudo.

2.1 Análise Fatorial

A análise fatorial é uma técnica estatística multivariada que procura representar a estrutura de correlação (interrelacionamentos) de um conjunto de variáveis por meio de um pequeno número de fatores (HAIR et al., 1998). Tais fatores, também conhecidos como dimensões subjacentes, são combinações lineares das variáveis originais onde o peso das variáveis em cada fator recebe o nome de carga fatorial. A interpretação da matriz de cargas fatoriais permite que os fatores sejam interpretados e nomeados. É comum utilizar um método de rotação das cargas fatoriais para tornar a interpretação mais simples. Neste estudo foi utilizado o método Varimax que, de acordo com Hair e outros (1998), é considerado o mais popular procedimento de rotação.

Cada um dos fatores retém uma parte da informação presente no conjunto de dados original, sendo os mesmos hierarquizados de acordo com esse percentual. Existem diferentes critérios para definição do número de fatores a serem extraídos. No presente estudo optou-se pela extração dos fatores cujo autovalor associado resultou superior a 1, procedimento conhecido como "critério de Kaiser". (KAISER, 1960)

2.2 Análise Discriminante

O principal objetivo da análise discriminante é prever, em termos probabilísticos, a pertinência a um grupo tendo como base uma combinação linear de variáveis. Assim, por exemplo, se dispusermos de uma base de dados com a altura, o peso e o sexo de um conjunto de pessoas, então é possível determinar a probabilidade de uma pessoa ser homem ou mulher tomando como variáveis de classificação a altura e o peso. A análise discriminante está estreitamente ligada tanto à Análise de Variância (ANOVA), quanto à análise de regressão, uma vez que ambas expressam uma variável dependente como uma combinação linear de outras variáveis. A principal diferença está em que nesses dois métodos a variável dependente (a ser prevista) é quantitativa, enquanto que na análise discriminante ela é categórica, geralmente nominal. O caso mais simples da análise discriminante é a previsão de uma variável dicotômica, isto é, com apenas duas categorias, como o exemplo no parágrafo anterior. Nesse caso, a técnica é semelhante a uma regressão linear, onde a variável dependente tem apenas duas categorias. No presente estudo o foco está na discriminação de apenas dois grupos (universidades privadas e federais), de forma que apenas uma função discriminante foi necessária.

3 RESULTADOS DO CPC 2008 EM UNIVERSIDADES FEDERAIS E PRIVADAS

A distribuição dos CPC's varia de acordo com a área dos respectivos cursos de graduação, mas, de uma forma geral, há predominância do conceito 3 em quase todas as áreas, com exceção de Ciências Sociais e Engenharia (Grupo VIII), e uma assimetria na direção dos conceitos 4 e 5 (Tabela 2).

Comparando as universidades privadas e públicas federais, a Tabela 3, a seguir, mostra que há diferenças entre os dois tipos de instituições de ensino. Dentre os 758 cursos oferecidos por universidades federais, pouco mais da metade deles (51,2%) receberam conceitos 4 ou 5 e menos de 10% obtiveram conceitos baixos (1 ou 2). Por outro lado, nos 1193 cursos oferecidos por universidades privadas a realidade é bem diferente: pouco menos de 20% receberam conceitos 4 ou 5 e 22,8% ficaram com CPC's baixos (1 ou 2).

Ainda com relação à diferença entre universidades privadas e federais, a Figura 3 apresenta os resultados para cada um dos oito componentes utilizados para a definição do CPC em 2008. De um modo geral, as universidades federais apresentam ampla superioridade nos itens referentes a professores com doutorado e professores em regime de tempo parcial ou integral. Nos itens referentes ao Enade (ingressantes e concluintes), a diferença em favor das universidades federais também é grande. As universidades privadas levam vantagem nos itens de infraestrutura e recursos pedagógicos. Com relação ao IDD as médias são mais similares entre os dois tipos de universidade.

Analisando-se simultaneamente a Tabela 1 e a Figura 3 é possível destacar que, em 2008, nos itens nos quais as universidades federais têm ampla vantagem (professores com doutorado e em regime de tempo parcial ou TI) a soma das ponderações resulta em 25%. Além disso, os dois componentes do Enade (ingressantes e concluintes), que somam 30%, apresentam médias igualmente superiores nas das universidades federais. A infraestrutura e os recursos pedagógicos têm um peso de apenas 10% sobre o CPC, sendo esses os dois pontos fortes das universidades privadas.

4 ANÁLISE DA ESTRUTURA SUBJACENTE AOS COMPONENTES DO CPC

Neste tópico, a estrutura de correlação entre os oito componentes do CPC foi explorada por meio de uma análise fatorial. A Tabela 4 sintetiza os resultados obtidos com a análise fatorial, mostrando que as três dimensões subjacentes detectadas apresentam percentuais de explicação semelhantes: 26,6%, 22,9% e 21,7%, respectivamente para os Fatores 1, 2 e 3. A redução de dimensionalidade de oito para três permitiu manter 71,2% da informação presente no conjunto de dados original.

As três dimensões subjacentes aos componentes do CPC foram assim identificadas:

Fator 1 - Desempenho dos alunos;

Fator 2 - Perfil do corpo docente;

Fator 3 - Características institucionais.

Foram construídas novas variáveis correspondentes aos três fatores identificados pela análise fatorial, possibilitando a comparação entre universidades federais e privadas. A Figura 4 mostra que o Fator 3 é o único no qual as universidades privadas apresentam média superior, como já havia sido constatado na Figura 3.

5 MODIFICANDO AS PONDERAÇÕES DO CPC

Nesta seção são apresentadas três simulações promovendo modificação nas ponderações do CPC. Os resultados são comparados com aqueles oficialmente divulgados pelo INEP. As três situações são: (1) aplicação dos pesos de 2007 sobre os resultados de 2008; (2) utilização de um peso uniforme para os três fatores subjacentes ao CPC; e (3) aplicação da Análise Discriminante.

5.1 Simulação 1: Mantendo os pesos de 2007 sobre os dados do Enade 2008

A partir das ponderações apresentadas na Tabela 1 foi realizado o primeiro ensaio comparativo no qual foi verificado o impacto das mudanças promovidas de 2007 para 2008 sobre o CPC dos cursos. De um modo geral, os resultados foram muito semelhantes, visto que a diferença entre o CPC contínuo calculado por meio das duas ponderações não apresentou diferenças superiores a 0,75, numa escala de variação de 1 a 5. Se o INEP tivesse mantido as mesmas ponderações de 2007, 54% dos cursos oferecidos por universidades privadas teriam o seu escore do CPC contínuo diminuído, enquanto 46% experimentariam um aumento. Nas universidades federais ocorreria exatamente o oposto: 54% dos cursos aumentariam seu CPC.

Em relação aos conceitos derivados do CPC contínuo, 89,3% dos cursos oferecidos por universidades privadas teriam seu conceito inalterado se a ponderação de 2007 tivesse sido mantida. No caso das universidades federais esse percentual seria de 87,6%. Em ambas as dependências administrativas a proporção de cursos que aumentariam ou diminuiriam o CPC praticamente se equivale. A Figura 5 apresenta um comparativo entre o CPC contínuo e os conceitos, considerando a utilização das ponderações de 2007 e 2008. O diagrama de dispersão, à esquerda, evidencia a fortíssima correlação direta entre as duas formas de cálculo do CPC contínuo. As tabelas cruzadas, à direita, mostram a forte associação entre os conceitos CPC caracterizada pela concentração de valores na diagonal principal.

5.2 Simulação 2: Aplicando um peso uniforme aos três fatores que compõem o CPC

Na seção 4 foram identificados três fatores subjacentes aos componentes do CPC. Admitindo que esses três fatores fossem igualmente ponderados pelo peso 1/3, a nova configuração de pesos do CPC seguiria a Tabela 5.

Aplicando-se os novos pesos aos dados relativos aos 1951 cursos, percebem-se mudanças de maior magnitude nos resultados do CPC contínuo, com diferenças que oscilam entre -1,1 e +1,1 pontos. Com esta nova simulação 37,5% dos cursos de graduação teriam seus conceitos alterados, sendo que 85% destes aumentariam de conceito CPC. Além disso, a grande diferença verificada atualmente entre cursos oferecidos por universidades federais e privadas ficaria minimizada, conforme mostra a Tabela 6.

A divulgação oficial do INEP para o Enade 2008 revela que 51,2% dos cursos oferecidos por universidades federais têm conceito 4 ou 5, enquanto que nas universidades privadas esse percentual é de 19,7%. Utilizando a ponderação uniforme, apresentada na Tabela 5, o percentual de cursos com CPC 4 ou 5 permaneceria praticamente inalterado nas universidades federais, mas cresceria muito nas universidades privadas, chegando a 45,7%. Outra cifra que merece destaque é o percentual de cursos com CPC = 2 nas universidades privadas que cairia de 22% para 7,5%.

5.3 Simulação 3: Aplicando a análise discriminante

A análise discriminante, descrita na seção 2.1, possibilitou encontrar a combinação linear de variáveis que melhor discrimina os cursos pertencentes às universidades privadas e as federais. As variáveis e seus coeficientes são apresentados na Tabela 7.

Os coeficientes com sinal positivo indicam que a variável é favorável às universidades federais, enquanto que o sinal negativo identifica variáveis favorecendo instituições privadas. O maior coeficiente é o do desempenho dos alunos concluintes no Enade. Em segundo lugar, com sinal negativo, vêm instalações e infraestrutura, que nesse caso, favorecem as instituições privadas. Professores com doutorado e em regime de tempo parcial ou integral também apresentam coeficientes positivos e de magnitude alta. Chama atenção que professores com mestrado, assim como a nota no IDD, apresentam sinal negativo, sendo, portanto, variáveis que, nesta combinação, favorecem as instituições privadas.

Tomando-se por base que o ponto de corte para atribuição de uma universidade no grupo de instituições privadas ou federais é igual a zero (valores positivos para federais e negativos para privadas), a Figura 6 mostra que a função discriminante foi exitosa na sua proposta porque a zona de intersecção entre os dois tipos de universidade revelou-se pequena.

Portanto, pode-se inferir, a partir dos resultados da análise discriminante, que em se aplicando pesos baixos para 'Instalações e Infraestrutura', 'IDD' e 'Percentual de professores mestres' e, por outro lado, pesos altos para 'Enade dos concluintes', 'Percentual de professores doutores' e 'Percentual de professores em regime de tempo parcial ou integral', a diferença entre os CPC's de cursos oferecidos por universidades federais e privadas tende a ser maximizada.

6 CONSIDERAÇÕES FINAIS

As mudanças na ponderação do CPC, promovidas pelo INEP de 2007 para 2008, tiveram como consequência uma pequena alteração nos resultados do Enade, o que sugere que os pesos adotados em 2008 não provocaram mudanças significativas de avaliação no quadro geral das IES. Tais mudanças ocasionaram alteração de conceito em pouco mais de 10% dos cursos, ocorrendo de maneira equilibrada nos dois sentidos: aumento e diminuição. Portanto, os resultados indicam que a modificação nos pesos não privilegiou de uma forma geral universidades federais ou privadas.

Por outro lado, se houvesse a alteração dos pesos descrita na seção 5.2, promovendo o equilíbrio entre as três dimensões detectadas pela Análise Fatorial, o impacto sobre os resultados seria muito grande no grupo de universidades privadas e pequeno entre as universidades federais. Isso sugere que, dependendo da distribuição dos pesos dos componentes do CPC, o impacto poderá ser diferente no grupo de universidades federais ou no grupo das privadas. Os motivos para isso ficaram evidenciados tanto na Figura 3, como na Análise Discriminante da seção 5.3. Como existem pontos fortes e fracos nos dois tipos de universidade, a distribuição dos pesos poderá ser favorável ou desfavorável a um grupo de universidades.

A análise discriminante, por sua vez, revelou que o desempenho dos concluintes no Enade e o percentual de professores com grau de doutor são altamente favoráveis ao grupo de universidades federais, enquanto que a infraestrutura, ao contrário, é extremamente favorável ao grupo de universidades privadas. O IDD (indicador que neutraliza diferenças de desempenho ocasionadas pela dificuldade de ingresso) mostrou-se favorável ao grupo de universidades privadas, ainda que com menor intensidade, enquanto o desempenho dos ingressantes no Enade pouco discriminou os grupos.

A Figura 7 mostra, de maneira didática, os resultados da análise discriminante combinados com os pesos utilizados na edição 2008 do Enade. Trata-se de uma representação gráfica não convencional onde os dois extremos da 'gangorra' indicam universidades privadas à esquerda e universidades federais à direita. A posição dos blocos sobre a 'gangorra' foi determinada pelos coeficientes da função discriminante. O tamanho dos blocos foi definido de acordo com os pesos efetivamente utilizados na composição do CPC na edição 2008 do Enade. Constata-se que, com base nos pesos estabelecidos pelo INEP e na função discriminante, há um desequilíbrio que favorece o grupo de universidades federais.

Outros aspectos que merecem ser destacados a partir das análises realizadas no presente artigo estão apresentados a seguir, tomando-se como base os oito componentes do CPC.

• Nota no Enade - Concluintes: a avaliação do desempenho de alunos concluintes em um exame ou prova consiste de um procedimento de avaliação em larga escala comumente praticado em âmbito nacional (e.g. ENEM, Exame da OAB). O extinto 'Provão' atribuía conceitos aos cursos unicamente por meio do desempenho de alunos concluintes. Conforme Verhine, Dantas e Soares (2006) houve muitas críticas a esse processo, mas apesar delas há de se concordar que é difícil avaliar um curso de graduação sem buscar aferir o nível de conhecimento de seus egressos. Portanto, este componente mostra-se indispensável em uma avaliação de cursos de graduação. Ressaltam-se, no entanto, a necessidade e a importância de se ter provas bem elaboradas, abrangendo todo o conteúdo abordado no curso com diferentes níveis de dificuldade.

• Percentual de professores doutores: o título de doutor é condição necessária para um grande número de atividades acadêmicas ligadas à pesquisa, como pertencer a um corpo docente de programa de pós-graduação, orientar alunos de mestrado e doutorado, participar de bancas examinadoras de teses e dissertações, captar recursos de pesquisa junto a agências de fomento e participar de editais como coordenador de projetos de pesquisa. Como consequência, um professor com titulação de doutor desfruta de melhores condições para a pesquisa se comparado a um professor com titulação de mestre. Por outro lado, no entanto, um professor doutor torna-se mais oneroso para uma instituição de ensino, pois além de seus vencimentos serem mais elevados, geralmente o número de turmas a ele destinadas tende a ser menor devido ao seu envolvimento em atividades de pesquisa. Parece óbvio que, do ponto de vista acadêmico, seria excelente ter instituições de ensino com um grande número de doutores, mas, em contrapartida, a sustentabilidade financeira sobretudo no caso das instituições privadas poderia ser comprometida devido ao incremento de sua folha de pagamento. Nas instituições públicas, praticamente todos os editais para contratação de professores exigem o título de doutor e, de uma maneira geral, os professores do quadro docente, que buscam titular-se, recebem o incentivo de dispensa do trabalho com salário integral. Esse procedimento é cada vez menos comum no setor privado.

• Percentual de professores em regime de tempo parcial ou integral: este indicador baseia-se no pressuposto de que professores em regime de tempo parcial ou integral terão maior dedicação à sua atividade docente, o que é bom para sua instituição. Tal suposição ignora, no entanto, que a presença de professores horistas pode, por outro lado, enriquecer a atividade acadêmica ao trazer a experiência profissional de mercado para o ambiente da sala de aula, com reflexos positivos na formação dos alunos. Além disso, instituições privadas têm evidente necessidade de professores horistas devido à grande concentração de alunos no turno da noite. Universidades federais praticamente garantem nota máxima neste quesito, enquanto que as instituições privadas, mesmo cumprindo a cota estabelecida pelo MEC, ficam com pontuação diminuta neste item.

• Nota no Enade - Ingressantes: supõe-se que o desempenho dos alunos ingressantes no Enade deveria estar relacionado ao nível de dificuldade de ingresso na instituição. Essa suposição se confirmou apenas parcialmente, pois o desempenho de alunos ingressantes pouco discrimina cursos oferecidos por universidades privadas de públicas. Dentre os motivos desse resultado ressalta-se o fato de que as provas de conhecimento específico do Enade são especialmente dirigidas aos alunos concluintes. Isso sugere que, mesmo que haja grande concorrência nos processos seletivos, não há garantia de que o aluno ingressante tenha conhecimentos de conteúdos específicos de seu curso.

• Recursos didáticos: apesar de o nome ser amplo, remetendo a uma interpretação talvez equivocada, este componente do CPC avalia unicamente se, na opinião dos alunos, todos os planos de ensino de disciplinas contêm os objetivos, procedimentos de ensino e avaliação, conteúdos e bibliografia. No caso de um aluno responder qualquer alternativa que não seja "todos os planos de ensino contêm os componentes supracitados", isso acarretará em prejuízo para o CPC de seu curso.

Do ponto de vista didático-pedagógico, fornecer planos de ensino completos aos alunos é uma atitude que sugere organização e seriedade da condução de uma disciplina. De um modo geral, as notas a este quesito foram baixas nos dois grupos de universidades (Figura 3), mas com vantagem das universidades privadas.

• Percentual de professores mestres: este componente, criado no Enade 2008, é complementar ao item que contabiliza professores doutores. A inclusão deste item no CPC, apesar do peso diminuto (5%), indica que a titulação mínima desejável para um professor universitário é o nível de mestrado.

• Nota IDD: como mencionado anteriormente, o IDD é um indicador que busca neutralizar o efeito de diferentes níveis de dificuldade de ingresso sobre os resultados das provas do Enade. Bittencourt et al. (2008) mostraram que o IDD foi exitoso em seu intento. No presente estudo verificou-se que, de fato, o IDD posiciona-se na 'gangorra' (Figura 7) em contraposição ao desempenho dos concluintes no Enade. Assim, o IDD contribui para não aumentar a diferença entre os CPC's de cursos oferecidos por universidades públicas e privadas.

• Instalações e Infraestrutura: assim como ocorre nos recursos didáticos, o nome deste componente do CPC pode induzir a uma interpretação errônea. O termo "Instalações e Infraestrutura" sugere que estejam sendo avaliadas as condições dos prédios, biblioteca, laboratórios, salas de aula, etc., mas, na verdade, é, uma vez mais, apenas a opinião dos alunos em relação à disponibilidade de equipamentos para aulas práticas que está sendo avaliada. Admite-se, então, que a disponibilidade de equipamentos em quantidade adequada contribui positivamente para a avaliação de um curso. Universidades privadas apresentaram larga vantagem sobre as instituições federais neste quesito.

Após analisar os oito componentes do CPC, constata-se que todos eles constituem aspectos importantes na avaliação de um curso, ainda que os itens infraestrutura e recursos pedagógicos, da forma como estão sendo avaliados, poderiam ser retirados dos relatórios dos avaliadores do MEC. Outros quesitos específicos poderiam vir a ser contemplados como, por exemplo, pesquisa nos cursos de graduação, integração entre os cursos de graduação e pós-graduação, avaliação dos projetos pedagógicos dos cursos, realização de atividades complementares e de extensão nos cursos, nível de empregabilidade dos alunos, oportunidades de estágios viabilizadas pelo curso. Um aspecto adicional que poderia ser melhorado na avaliação seria a inclusão de mais itens do questionário socioeconômico.

Os pesos destinados a cada componente merecem, ainda, mais reflexões. O presente estudo mostrou que se houvesse modificação nos pesos do CPC, promovendo uma equidade entre os três fatores subjacentes ao CPC (desempenho dos alunos, perfil do corpo docente e características institucionais), os resultados divulgados pelo INEP seriam muito diferentes, praticamente eliminando a vantagem dos cursos oferecidos por universidades federais.

Por fim, em um cenário de intensa concorrência e estagnação no ingresso de novos alunos no ensino superior, o desempenho em avaliações em larga escala passa a ser fundamental para a continuidade de instituições de ensino superior. Especialmente para universidades cujo comprometimento com pesquisa, extensão e atividades de pós-graduação stricto sensu é muito maior do que o de uma faculdade ou centro universitário. Portanto é imprescindível que a definição dos pesos que compõem o principal conceito avaliativo atribuído por um órgão oficial do governo federal seja discutida no ambiente acadêmico. Com este intuito o presente artigo procurou trazer subsídios para enriquecer o debate em torno do tema.

Recebido em: 08 de abril de 2010 Aprovado em: 14 de junho de 2010

• BARREYRO, Gladys B. De exames, rankings e mídia. Avaliação, Campinas, Sorocaba, v. 13, n. 3, p. 863-868, nov. 2008.
• BITTENCOURT, Hélio R. et al. Uma análise da relação entre os conceitos ENADE e IDD. Estudos em Avaliação Educacional, São Paulo, v. 19, p. 247-262, 2008.
• BITTENCOURT, Hélio. R.; CASARTELLI, Alam. O. ; RODRIGUES, Alziro. C. M. Sobre o Índice Geral de Cursos (IGC). Avaliação, Campinas, Sorocaba, v. 14, n. 3, p. 667-682, 2009.
• HUBERTY, Carl J., OLEJNIK, Stephen. Applied MANOVA and discriminant analysis. 2. ed. Hoboken, New Jersey: John Wiley, 2006.
• DIAS, Carmen L.; HORIGUELA, Maria de Lourdes M.; MARCHELLI, Paulo Sérgio. Políticas para a avaliação da qualidade do ensino superior no Brasil: um balanço crítico. Educação e Pesquisa, São Paulo, v. 32, n. 3, p. 435-64, set. 2006.
• DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas, Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.
• GIOLO, Jaime. "SINAES" intermitentes. Avaliação, Campinas, Sorocaba, v. 13, n. 3, p. 851-856, nov. 2008.
• HAIR, Joseph F. et al. Multivariate data analysis. Englewood Cliffs: Prentice-Hall, 1998.
• INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Cálculo do conceito preliminar de cursos de graduação: nota técnica. Brasília, DF, 2008.
• ______. Aplicação do conceito preliminar de cursos de graduação (CPC) na avaliação do Sistema Nacional de Avaliação da Educação Superior - SINAES: nota técnica. Brasília, DF, 2009a.
• ______. Resultados do Enade/CPC Decomposto Disponível em: <http://www.inep.gov.br/areaigc/>, 2009b. Acesso em: dez. 2009.
• KAISER, Henry F. The Application of electronic computers to factor analysis. Educational and Psychological Measurement, Thousand Oaks, v. 20, n. 1, p. 141-151, 1960.
• POLIDORI, Marlis M. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação, Campinas, Sorocaba, v. 14, n. 2, p. 439-452, 2009.
• VERHINE, Robert; DANTAS, Lys Maria V.; SOARES, José. F. Do provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio, Rio de Janeiro, v. 14, n. 52, p. 291-310, jul. 2006.

Mudanças nos pesos do CPC e seu impacto nos resultados de avaliação em universidades federais e privadas

Changes in the weights of the CPC and their impact on results of evaluation in federal and private universities

Datas de Publicação

• Publicação nesta coleção
  12 Nov 2010
• Data do Fascículo
  2010

Histórico

• Recebido
  08 Abr 2010
• Aceito
  14 Jun 2010