O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC)

Resumos

Higher education plays a fundamental role in the economic development of a country in terms of meeting society's demands. Quality in higher education has been a recurring theme in recent years, especially after the creation of National Higher Education Assessment System (SINAES), which established a global and integrative institutional assessment system in line with all Brazilian Higher Education Institutions (HEIs), responsible for producing quality measurement indicators such as Indicator of Difference between Expected and Observed Performance (IDD), Preliminary Course Program Score (CPC), and General Course Index IGC, which measures the overall performance of a higher education institution. Thus, this study aims to analyze the IGC of public and private universities of the five Brazilian regions in order to describe the performance of HEIs by region, identify possible intraregional and interregional discrepancies, and suggest opportunities for improvement. The results showed that public universities outperformed private ones in all regions, particularly the north and southeast regions. Regarding variability, private universities had the best performance in the center-west and north of Brazil. However, a thorough assessment of the performance of HEIs by region requires an integrative analysis of IGC results aligned with other assessment subsystems that integrate the multidimensional assessment of SINAES.

Quality in higher education; Performance for IGC in Brazilian regions; Assessment of higher education institutions

O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC)

Celina Hoffmann^I; Roselaine Ruviaro Zanini^I; Ângela Cristina Corrêa^II; Julio Cezar Mairesse Siluk^I; Vitor Francisco Schuch Júnior^I; Lucas Veiga Ávila^I

^IUniversidade Federal de Santa Maria, Santa Maria, RS, Brasil. Contatos: [e-mail], [e-mail], [e-mail], [e-mail] ^IIUniversidade Federal de Santa Catarina, Florianópolis, SC, Brasil. Contato: [e-mail]

RESUMO

A educação superior exerce papel fundamental no desenvolvimento econômico de determinado país, no que condiz ao atendimento das demandas da sociedade. A qualidade no contexto da educação superior tem sido tema recorrente nos últimos anos, sobretudo a partir da criação do Sistema Nacional de Avaliação da Educação Superior (SINAES), que instituiu um sistema de avaliação institucional global e integrador condizente a todas as Instituições de Ensino Superior (IES) brasileiras, sendo responsável por produzir índices para mensuração da qualidade como o Indicador de Diferença dentre os Desempenhos Observado e Esperado (IDD), o Conceito Preliminar de Curso (CPC) e o IGC, Índice Geral de Cursos, que mede o desempenho global da instituição. Diante disso, este estudo tem como objetivo analisar o IGC das universidades públicas e privadas das cinco regiões brasileiras, no intuito de caracterizar o desempenho das IES por região e verificar possíveis discrepâncias intra e inter-regionais identificando oportunidades de melhoria. Os resultados evidenciaram desempenho superior das universidades públicas em todas as regiões, tendo maior destaque as regiões norte e sudeste. Quanto à variabilidade, as regiões Centro-Oeste e Norte apresentaram os melhores desempenhos ambos condizentes ao setor privado. No entanto, para realizar uma avaliação consolidada do desempenho das IES por região faz-se necessário analisar, de forma integrada, os resultados do IGC alinhados aos demais subsistemas de avaliação que integram a avaliação multidimensional do SINAES.

Palavras-chave: Qualidade na educação superior, Desempenho do IGC nas regiões brasileiras, Avaliação de instituições de educação superior.

Introdução

A avaliação é um instrumento de controle e melhoria de desempenho, no que condiz às Instituições de Educação Superior (IES). De acordo com Dias Sobrinho (2010, p.195):

[...] é uma ferramenta capaz de produzir mudanças nos currículos, nas metodologias de ensino, nos conceitos e práticas de formação, na gestão, nas estruturas de poder, nos modelos institucionais, nas configurações do sistema educativo.

Por essa razão, deve ser vista como importante subsídio para a tomada de decisão no contexto de direcionamento das políticas públicas, bem como na transformação e melhoria da qualidade de cada IES dentro de sua realidade de trabalho.

A qualidade no cenário da educação tem sido tema recorrente nos últimos anos, muitas vezes atrelada à questão do sistema avaliativo institucional. Burlamaqui (2008), em estudo realizado de caráter bibliométrico, enfatiza que o conceito de qualidade visto na perspectiva de uma instituição deve estar acompanhado das noções da multidimensionalidade e complexidade, que são características inerentes ao ambiente de uma IES. O autor também defende a utilização de dados quantitativos e qualitativos de forma conjunta para a mensuração do desempenho institucional, uma vez que isso possibilitará uma visão integrada da própria realidade multifacetada da IES.

De acordo com o censo da educação superior de 2010, o número total de IES corresponde a 2.378, sendo a participação majoritária dada pela esfera privada com 88,3%, seguidos da esfera estadual com 4,5%, federal com 4,2% e municipal com 3%. No entanto, a categoria federal apresenta maior concentração média de matrículas em razão do número de instituições federais com 9.481,4, enquanto a categoria privada apresenta 2.256,6 matrículas por instituição (INEP, 2012). Tais números refletem o contingente de IES que exercem papel fundamental no desenvolvimento socioeconômico do país, na condição de agente formador dos profissionais que atuarão no mercado de trabalho, sendo distribuídas em universidades, centros universitários, e faculdades.

O Ministério da Educação (MEC), por meio da Lei nº 10.861, em 2004, instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES). Consiste em um sistema de avaliação institucional abrangente e complexo pautado pela autoavaliação, avaliação externa, condições de ensino e instrumentos de informação como censo da educação superior e cadastro preenchido pela IES. O SINAES é orientado por meio de indicadores, tais como: o Conceito Preliminar de Curso (CPC) e Índice Geral de Cursos (IGC), que subsidiam os processos de avaliação in loco e resultam nos Conceitos de Curso (CC) e Instituição (CI). Institucionalmente, são considerados medidas da qualidade da Educação Superior (INEP, 2011).

Esses indicadores exercerem importante papel de nortear as iniciativas de políticas públicas para a educação superior. Conforme Burlamaqui (2008), a utilização de indicadores traz vantagens, pois retrata informações passíveis de consulta pela sociedade, sobretudo aos usuários do sistema. Diante da importância da avaliação da educação superior e da compreensão de seus instrumentos, indicadores e resultados daí gerados, este estudo buscou analisar os valores do IGC das universidades públicas e privadas correspondentes às cinco regiões brasileiras.

Nesse contexto, faz-se necessário considerar que os índices de mensuração da qualidade utilizados pelo INEP não são amplamente aceitos pela comunidade acadêmica que se dedica aos estudos acerca da educação superior. Pelo contrário, desde a sua concepção, os indicadores, incluindo o IGC, são alvos de efusiva polêmica. Schwartzman (2008, p. 20) argumenta, em crítica ao CPC, que é importante indicador para composição do IGC:

Não tem legitimidade, porque não foi elaborado com a participação e o envolvimento de setores relevantes da comunidade de ensino superior do país, que foi surpreendida com sua divulgação.

Outro ponto de vista defendido por uma leva de autores considera a utilização de indicadores de qualidade uma visão reducionista do sistema de avaliação da educação superior. Como afirma Dias Sobrinho (2008, p. 821) "[...] como se os números, as notas, os índices fossem a própria avaliação e pudessem dar conta da complexidade do fenômeno educativo", deixando de considerar aspectos como identidade, contexto, e fatores culturais inerentes a cada IES avaliada.

Vale ressaltar que este estudo considera a visão sobre a polêmica gerada a cerca de tais números ao longo do referencial teórico.

Referencial teórico

Com a finalidade de elucidar o objetivo proposto pelo presente estudo, faz-se necessário enumerar os tópicos conceituais que irão contextualizar a problemática apresentada e oferecer os parâmetros necessários para a análise dos resultados. Desse modo, são relacionados os constructos a respeito: da avaliação da educação superior brasileira; da avaliação institucional e qualidade na educação superior; do sistema de avaliação da educação superior; e do IGC como indicador da qualidade nas IES.

A avaliação da educação superior brasileira

O histórico do processo de avaliação da educação superior nas instituições de ensino superior teve seu início em 1993 por meio do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), tendo sido elaborado pela Comissão Nacional de Avaliação (CNA), com assessoria da Secretaria de Ensino Superior (SESu), e encaminhada sua proposta pela Associação Nacional de Instituições Federais de Ensino Superior (ANDIFES) ao Ministério de Educação e Cultura (ZANDAVALLI, 2009).

A concepção dessa proposta de avaliação contou com a pluralidade da participação da comunidade acadêmica em que vários representantes de diversas universidades fizeram-se atuantes no processo. Visto que a composição da CNA deu-se por diversas entidades relacionadas à gestão do ensino superior, tais como: Fórum de Pró-Reitores de Graduação; Fórum de Pró-Reitores de Pesquisa e Pós-Graduação; Fórum dos Pró-Reitores de Planejamento e Administração; Fórum de Pró-Reitores de Extensão; Associação Nacional dos Dirigentes de Instituições Federais de Ensino Superior (ANDIFES); Associação Nacional de Universidades Particulares (ANUP); Associação Brasileira de Universidades Estaduais e Municipais (ABRUEM) e a Associação Nacional de Escolas Superiores Católicas (ABESC) (BRASIL, 1993, apud ZANDAVALLI, 2009).

O Programa de Avaliação Institucional (PAIUB) surgiu com a finalidade de suprir algumas demandas latentes à época. A ideia era a de que por meio do processo da avaliação institucional haveria a possibilidade de propiciar o constante aperfeiçoamento do desempenho acadêmico; servir como instrumento para o planejamento e gestão universitária, além de provocar um processo sistemático de prestação de contas à sociedade, partindo do pressuposto de que a educação é vista como um bem público, sustentada por recursos públicos, e, portanto, por toda a sociedade. O objetivo principal do PAIUB era a análise e o aperfeiçoamento do projeto acadêmico e sociopolítico da instituição, promovendo a permanente melhoria da qualidade e adequação das ações institucionais.

As iniciativas propostas pelo PAIUB serviram de subsídios para a elaboração do Sistema Nacional de Avaliação da Educação Superior. Dias Sobrinho (2002 apud ZANDAVALLI, 2009, p. 421) afirma a importância do programa pelo:

[...] fato de ser uma obra coletiva, aberta, que contempla a pluralidade, que cria bases teóricas e práticas coerentes para atingir objetivos socialmente construídos e tem, inequivocamente, caráter pedagógico e formativo.

Acrescenta-se o fato de possuir uma estrutura formada por três processos articulados: avaliação interna (autoavaliação dos sujeitos e heteroavaliação das estruturas, processos e colegas); avaliação externa (realizada por grupo de sujeitos pares da comunidade acadêmica), e reavaliação (reflexão crítica dos processos de avaliação).

Com a criação da Lei nº 9.131, de novembro de 1995, a chamada Lei de Diretrizes e Bases da Educação Nacional (LDB), entre outras mudanças ocorreu a instituição do Exame Nacional de Educação, o chamado provão, com a finalidade de aferir conhecimentos e competências adquiridos pelos alunos em fase de conclusão dos cursos de graduação. Além disso, existia a pretensão da utilização dos resultados para o fomento de iniciativas voltadas para a melhoria da qualidade do ensino.

No que condiz à concepção do SINAES, essa está fortemente atrelada aos fundamentos do PAIUB, sobretudo no que condiz respeito à experiência adquirida no campo da avaliação institucional aplicada ao contexto da Educação Superior, conforme Ristoff e Giolo (2006, p. 197):

De fato, o novo Sistema Nacional de Avaliação da Educação Superior incorporou grande parte dos princípios e diretrizes do Paiub, entre eles, o compromisso formativo da avaliação, a globalidade, a integração orgânica da autoavaliação com a avaliação externa, a continuidade, a participação ativa da comunidade acadêmica, o respeito à identidade institucional e o reconhecimento da diversidade do sistema. Diferentemente do Paiub, no entanto, o Sinaes não adotou o princípio da adesão voluntária. Com a lei do Sinaes, e em consonância com o que estabelecem a Constituição, a LDB e o PNE, todas as IES do País, não apenas as do sistema federal devem participar dos processos avaliativos que compõem o sistema.

Conforme esclarece Zandavalli (2009), a compreensão de tais antecedentes são fundamentais para identificar os avanços e recuos do SINAES, que teve o papel de reestruturação do modelo de avaliação da educação superior brasileira, tendo implícito o desafio de congregar instrumentos e espaços avaliativos, superando a fragmentação por meio da articulação das formas avaliativas.

Avaliação institucional e qualidade na educação superior

De acordo com Ribeiro (2012), a sociedade tem exigido, cada vez mais, a prestação de contas do governo no que condiz ao conjunto de serviços prestados pelo Estado. Dentro dessa exigência, está incluída a oferta e a manutenção da qualidade da educação superior, cujas tarefas de supervisão, correção de erros e divulgação dos principais resultados são fundamentais. O direito à educação, assegurado pelo Estado, por si só não garante seu desempenho estratégico no contexto do plano de desenvolvimento de um país, é preciso também assegurar alguns preceitos condizentes com a realidade atual, como a busca por padrões de referência que contemplem os princípios da qualidade (INEP, 2009).

O termo qualidade não traz uma só conceituação capaz de considerar todas as dimensões que pode alcançar, mas pode estar relacionado com a conformidade entre a expectativa e o resultado atingido e, além disso, pode ser estar atrelado à percepção do sujeito que exerce a tarefa de julgar ou atribuir níveis de valor a determinada característica ou fenômeno.

Nesse contexto, Júnior (2009, p. 259) afirma:

[...] o que é considerado qualidade pelo setor acadêmico pode conflitar com a qualidade buscada pelos governos, com aquela percebida pela sociedade ou, então, a que corresponde às demandas do setor produtivo.

Dessa forma, as variáveis quantitativas ou qualitativas são sustentadas por indicadores mensuráveis, com a finalidade de não haver predominância do caráter subjetivo no processo de avaliação, uma vez que, de forma objetiva, deve ser subsidiado pela conformidade, padronização e imparcialidade.

Segundo Silva (2008), a expressão qualidade na educação tem a função de conferir distinção a uma ou mais características consideradas superiores ou de excelência, atribuindo-lhes condição desejável. Contudo, o autor enfatiza que os sentidos da qualidade podem variar em duas direções: de objeto para objeto e conforme o contexto histórico, ou seja, as referências acerca da qualidade mudam com o passar do tempo. Assim, o que era visto como critério de excelência no passado, como a disciplina e o rigor, hoje já não é tão valorizado.

De acordo com Dal Magro e Rausch (2012, p. 432), "o desenvolvimento e a qualidade no ensino também dependem da avaliação constante nos processos de ensino, administrativos, e estruturais". Nesse sentido, as diretrizes do SINAES contemplam tais perspectivas, na medida em que há articulação com mecanismos regulatórios do Estado com o objetivo da melhoria da qualidade acadêmica e gestão institucional (INEP, 2009). Vistas sob o enfoque da lógica de mercado, as IES estão inseridas em um ambiente competitivo em que a procura por um maior número de alunos reflete a excelência de seus serviços prestados (DAL MAGRO; RAUSCH, 2012).

Dessa forma, a disputa pela melhoria da qualidade da educação superior ocorre no cenário macroeconômico, com a concorrência entre países desenvolvidos produtores de inovações tecnológicas, com os países consumidores e reprodutores da tecnologia já criada. Assim como na perspectiva microeconômica, com a disputa direta entre as IES quanto ao seu desempenho diante do número de alunos, oferta de cursos e vagas, formação do corpo docente, condições da infraestrutura, produção científico-tecnológica, entre outros.

A reflexão sobre a qualidade na educação superior recai, inevitavelmente, sobre as noções de eficiência e desempenho, condizentes com a lógica empresarial que a relaciona ao conceito de produção, em que os alunos seriam os inputs, a interação entre professores e alunos em que se estabelece o aprendizado seria efetivamente o processo e o aluno concluinte do ensino superior seria o resultado final (output).

Nesse sentido, Burlamaqui (2008, p. 138) concorda com tal perspectiva, com a ressalva do estigma que se cria em torno da educação como processo. O autor afirma: "nota-se que o ensino corresponde a um processo permeado por vários aspectos ou variáveis que, ao final, trará algum resultado (produto)". Daí a utilização de índices de mensuração da qualidade que, aplicados em cada etapa do processo, passa a ser amplamente justificável, na medida em que se verificam pontos fortes e fracos desse contexto, e, a partir disso, ações de correção de erros e melhoria podem ser planejadas.

Na perspectiva da administração da educação superior sob a ótica da lógica empresarial, Sander (2007) enumera quatro trajetórias e seus respectivos modelos de gestão da educação, sob o conceito de: eficiência, eficácia, efetividade e relevância cultural. Esses seriam uma forma de um processo evolutivo da administração da educação. Com relação ao conceito de eficiência na educação, que se aproxima da visão tecnocrática presente nas empresas, o autor admite a eficiência como critério de desempenho econômico que acentua as características extrínsecas e instrumentais do contexto organizacional e suas respectivas atividades, em que os sujeitos envolvidos norteiam-se pela lógica econômica, racionalidade instrumental e produtividade operacional. Tal concepção muito se assemelha à prática atual de utilização de índices de qualidade pelo sistema de avaliação da educação superior, e que é repudiada pelo autor na medida em que ele afirma que o conceito de eficiência na educação não se coaduna com o caráter subjetivo e com a ética inerente à prática educacional.

Sistema de avaliação da educação superior

O SINAES teve seu início a partir da promulgação da Lei nº 10.861, em 14 de abril de 2004, com o intuito de consolidar a avaliação da educação superior brasileira. Foi instituído na forma de política de Estado, o que corresponde à adoção das iniciativas e processos avaliativos inclusos no sistema, independente da troca de governantes, da esfera administrativa. Ele abrange instituições públicas e privadas, com o objetivo de melhoria da qualidade do ensino superior.

De acordo com Dias Sobrinho (2010), em sua concepção inicial, o SINAES esteve baseado nos pressupostos de avaliação e de educação global e integradora, voltado a construir um sistema de avaliação da educação superior. Tal iniciativa articula-se sob o senso comum de que a tarefa da avaliação do ensino superior é complexa o bastante para não se restringir em uma só dimensão avaliativa. Dessa forma, o SINAES propôs a integração entre diversos instrumentos de avaliação com o objetivo de englobar a pluralidade de variantes de indicadores da qualidade com os quais as IES têm a missão de atender.

O SINAES constitui-se de três pilares principais: a avaliação institucional, a avaliação de cursos e a avaliação de desempenho dos estudantes dos cursos de graduação, este último subsidiado pela aplicação do Exame Nacional de Desempenho dos Estudantes (ENADE). Já os dois primeiros pilares são acompanhados por meio de processos de avaliação in loco (POLIDORI, 2009). Nesse sentido, é orientado por meio das seguintes dimensões avaliativas: missão e plano de desenvolvimento institucional; políticas relacionadas ao ensino, pesquisa, cursos de graduação, pós-graduação e extensão; responsabilidade social da instituição; comunicação com a sociedade; políticas de pessoal; administração e organização institucional; infraestrutura física; planejamento e avaliação; políticas de atendimento aos estudantes e sustentabilidade financeira (BRASIL, 2004).

Nesse contexto, o SINAES busca assegurar, entre outros aspectos, a articulação das dimensões interna e externa, particular e global, além de buscar contemplar os pressupostos tanto da metodologia qualitativa quanto quantitativa. Esse princípio do SINAES vem atender a demanda de um sistema de avaliação da educação superior que contemple a complexidade da temática e do processo avaliativo, a participação de seus respectivos agentes das dimensões governamentais, institucionais, de aprendizagem, gestão administrativa e social (BRASIL, 2004).

No entanto, a elaboração e instituição de índices de desempenho contribuíram para gerar grande polêmica em torno do tema, além de colocar à prova todo o significado do SINAES que passou a apresentar uma concepção distorcida, diante da comunidade acadêmica. Nesse contexto, Ribeiro (2012) relata que, nos primeiros meses do ano de 2008, a comunidade acadêmica veio saber, por meio da mídia, a respeito das mudanças ocorridas na filosofia do SINAES e do papel do Estado a partir daquele momento.

A polêmica gerada ficou em torno da criação de dois índices: o Conceito Preliminar de Curso (CPC), regulamentado pela Portaria Normativa nº 4 de 5 de agosto de 2008, antecedida pela Portaria Normativa nº 40 de 2007 que avalia os cursos de graduação, e o Índice Geral de Cursos (IGC), regulamentado pela Portaria Normativa nº 12 de 5 de setembro de 2008, também antecedida pela Portaria Normativa nº 40 de 2007, que avalia o desempenho da instituição como um todo (INEP, 2011). Em ambos os indicadores, a base principal de cálculo é oriunda do ENADE, instrumento voltado à mensuração do desempenho dos estudantes de graduação.

A adoção de tais índices para mensuração da qualidade do ensino superior brasileiro provocou efusiva polêmica em torno do assunto, proliferando diversas críticas entre os pesquisadores e estudiosos. De acordo com Polidori (2009), o fato dos indicadores serem baseados no desempenho dos estudantes, por meio dos resultados do ENADE, retrata uma transgressão do próprio SINAES que prioriza um só pilar de toda sua concepção sistêmica. Nesse sentido, Barryero (2008, p. 867) argumenta sobre os malefícios provocados pela concepção dos índices CPC e IGC:

[...] parecem levar-nos novamente ao tempo dos rankings, das avaliações mercadológicas e simplificações midiáticas, mais próximas de uma visibilidade publicitária do que da verdade da avaliação da qualidade.

Nesse sentido, Dias Sobrinho (2010, p. 216) sugere que a criação de tais índices caracterizou a transformação da proposta original do SINAES, que originalmente foi criado como um processo sistêmico de avaliação do ensino superior. Nas palavras do autor:

Em que pese a proposta original do SINAES insistir nas idéias de sistema, de focar centralmente a instituição e de repudiar as práticas de rankings, isso não ocorreu, plenamente, na prática.

Tal argumento é reafirmado por Ribeiro (2012, p. 307):

De fato, o SINAES está dando sinais de esgotamento, e o não cumprimento do estabelecido, contrariando a expectativa de que o SINAES teria papel central na regulação.

Entre as principais deturpações do SINAES enumeradas pelos autores, incluem-se: 1) a desconsideração da avaliação institucional em favor da divulgação do IGC; 2) a sobreposição dos resultados do ENADE que compõem o cálculo de tais índices e, por consequência disso, 3) a indução para a elaboração e divulgação de rankings, os quais não são capazes de retratar a realidade, pois não consideram a identidade e especificidades institucional e dos agentes envolvidos, além de desconsiderarem o caráter pedagógico e social da formação do cidadão universitário.

Limana (2008, p. 872) é ainda mais incisivo nas críticas aos índices:

[...] só serve para dar um verniz de cientificidade a um imbroglio que, em absoluto nada significa em termos de avaliação da educação superior, a não ser o de confundir a sociedade brasileira com falsos rankings de excelência [...].

Tal polêmica parece residir não somente na formação e estrutura de cálculo desses indicadores, mas também na supervalorização da divulgação e ranqueamento de tais resultados, pois a partir deles ficam evidentes as discrepâncias entre as instituições, visto que é papel do próprio SINAES a divulgação dos resultados à sociedade. Entretanto, para finalidade do presente artigo, não há pretensão de participar dessa discussão acerca da concepção pedagógica ou filosófica de tais índices, muito menos vincular tal temática sob o enfoque histórico-político. Partindo-se da existência e disponibilidade de tais índices, o presente estudo tem como objetivo analisar os valores do IGC contínuo das universidades das regiões brasileiras, sob enfoque dos métodos quantitativos de análise.

O índice geral de cursos como indicador de qualidade IES

Apesar de tamanha polêmica em torno dos índices elaborados a partir dos instrumentos do SINAES, sabe-se da importância de se utilizar, de forma concomitante, dados qualitativos e quantitativos para avaliação de desempenho, pois ambos são capazes de oferecer subsídios de sustentação para as conclusões que possam ser geradas. O cálculo do conceito preliminar de curso é fundamental para a formação do IGC, portanto, faz-se pertinente entender o que é relevante para a formação do CPC.

Conforme o manual de indicadores de qualidade do INEP de 2011, a unidade de observação a considerar nesse índice corresponde ao curso de graduação, sendo a composição para o cálculo formada pelos indicadores da qualidade: as informações de infraestrutura, recursos didático-pedagógicos e corpo docente; o desempenho obtido pelos estudantes concluintes e ingressantes no ENADE, e os resultados do Indicador da Diferença entre os Desempenhos Esperado e Observado (IDD).

O IGC, por sua vez, é divulgado anualmente e consiste na média ponderada dos conceitos de graduação e pós-graduação strictu sensu, sendo que para fins de cálculo são utilizados os valores dos CPCs para o conceito da graduação e para os cursos de pós-graduação é realizada a conversão dos conceitos atribuídos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). A ponderação é feita com base no número de alunos nos cursos de graduação, mestrado e doutorado. O resultado apresentado é uma variável contínua no intervalo entre 0 e 5, sendo que para fins de classificação das IES os resultados são transformados em valores discretos de 1 a 5, conforme o tabela 1. De acordo com INEP (2011), esse indicador servirá como referencial norteador das comissões de avaliação institucional.

Para fins de cálculo do IGC, são utilizados os valores dos CPCs do triênio anterior ao ano de observação. Sendo a ponderação dada pelo número de matrículas referentes aos anos correspondentes, a consideração do triênio deve-se aos resultados do Enade, que é aplicado a cada três anos para cada área do conhecimento, e serve de base para o cálculo dos CPCs. Além disso, para os cursos de pós-graduação são utilizadas as notas Capes da trienal referente ao ano de cálculo.

De acordo com INEP (2011), a Portaria nº 40 de 2007, novamente publicada em 2010 institui que os resultados das avaliações presentes no ciclo avaliativo do SINAES sejam baseados em indicadores de qualidade referenciados em escala de 1 a 5 pontos. O status de nível satisfatório correspondem aos resultados iguais ou acima de 3 pontos. Sendo os valores abaixo de 3 pontos passíveis de notificação. De acordo com Burlamaqui (2008), em termos de avaliação institucional, para uma variável ou estatística ser relevante ela deve ser capaz de influenciar o resultado final, além disso, se duas variáveis apresentarem causalidade ou interdependência, perfaz condição de identificar falhas ou deficiências que sustentam as iniciativas do processo decisório e possíveis adequações visando ao incremento e à melhoria das condições da IES.

Método

De acordo com a Portaria Normativa nº 40 de 2007, instituída pelo Ministério da Educação, as universidades são definidas como instituições pluricurriculares de formação dos quadros profissionais de nível superior, de pesquisa, de extensão e de domínio e cultivo do saber humano. Devem possuir, pelo menos, um terço do corpo docente com titulação acadêmica de mestrado ou doutorado e um terço do corpo docente em regime de tempo integral. Tais características perfazem condições para fins de regulamentação, no entanto, não deixam de configurarem em indicadores de qualidade, como mostra a composição do CPC referenciado anteriormente.

De acordo com INEP (2012), o número de universidades aumentou de 156 em 2001 para 190 em 2010, apresentando 54,3% do total das matrículas, tendo em vista o contingente de faculdades e centros universitários. Nesse contexto, o SINAES atua com o propósito de realizar uma avaliação diagnóstica, formativa e regulatória das instituições de ensino superior. Daí a importância de analisar a população de universidades brasileiras.

A complexidade inerente ao contexto da educação superior demanda a utilização de diversas fontes de informações que compõem a formação de um indicador. No caso, do IGC pode-se dizer que sua composição está atrelada a outros indicadores como o CPC que, por sua vez, é dependente de um conjunto de fatores referentes à graduação. Além disso, para composição do IGC são requeridas as notas da Capes atribuídas aos cursos de pós-graduação. Nesse sentido, o IGC pode ser considerado um indicador abrangente de avaliação do desempenho institucional, pois engloba diversos itens avaliativos.

O presente estudo possui caráter descritivo, uma vez que consiste na observação, análise e caracterização de determinada realidade, com intuito de agregar informações acerca de fatos ou fenômenos investigados e estabelecer possíveis relações entre as variáveis (GIL, 2008). Quanto ao método de levantamento e análise dos dados, foram utilizados os pressupostos da pesquisa quantitativa que é baseada no paradigma positivista. Nesse paradigma, a racionalidade predomina de forma absoluta e os métodos utilizados são eminentemente quantitativos, ou seja, baseados em números que tentam, tão somente, representar uma realidade temporal observada (GOMES; ARAÚJO, 2005).

Quanto à coleta de dados, ocorreu por meio da planilha eletrônica em formato excel disponibilizada pelo site do INEP, com os dados referentes ao IGC contínuo/2011 da população composta por 221 universidades distribuídas em suas respectivas regiões e categorias administrativas (pública e privada). Por meio do software statistica 9.1 foi realizada a análise descritiva do IGC nas IES correspondentes às cinco regiões brasileiras: Sul, Sudeste, Centro-Oeste, Nordeste e Norte. Além disso, foi utilizado o teste t-student com a finalidade de verificar a diferença entre as médias dos grupos das universidades públicas e privadas de cada região, considerando-se um nível de 5% de significância.

Por meio dos resultados pretende-se não somente realizar comparações, muitas vezes vista como prática discriminatória, uma vez que as realidades regionais distinguem-se entre si, conforme foi argumentado por diversos autores citados no referencial teórico do presente estudo, mas mapear padrões de identidades regionais, tendo como ponto de observação o IGC como índice de representatividade do desempenho das IES. Nosso intuito é, com isso, contribuir na identificação das discrepâncias inter e intra-regionais, com a ponderação por meio das categorias pública e privada.

Resultados

Por meio dos resultados, é possível caracterizar a distribuição dos valores de IGC nas cinco regiões brasileiras, considerando a administração pública e privada, conforme mostra a tabela 2.

No que condiz aos valores da média do IGC na região Sul, observou-se que as universidades sob a administração pública apresentam melhor desempenho em comparação com a privada, sendo que também é o grupo responsável tanto pelo maior quanto pelo menor IGC da região. Tal aspecto é reafirmado nos valores do desvio-padrão e coeficiente de variação, que são maiores do que os apresentados na categoria privada. Foi observada diferença significativa entre os valores médios de IGC (p = 0,01) quando se comparou instituições públicas e privadas. Quanto à análise geral, a média encontrada correspondente à região Sul é menor do que a esfera pública e maior do que a privada, considerando-se que as universidades do primeiro grupo perfazem o dobro do segundo.

Quanto à região Sudeste, a qual detém o maior número de universidades em ambas as categorias administrativas, os resultados evidenciam o melhor desempenho das universidades públicas que, da mesma forma, apresentam valor médio superior de IGC em comparação com as privadas. A diferença entre as médias dos grupos foi significativa (p-valor < 0,001). Os valores correspondentes ao desvio-padrão e coeficiente de variação também foram maiores em relação à categoria privada. Tal fato representa uma maior heterogeneidade entre os IGCs desse grupo.

A região Centro-Oeste apresenta, assim como as outras regiões citadas acima, um melhor desempenho das universidades públicas em relação à média do IGC se comparada com as universidades privadas. Da mesma forma, o valor máximo de IGC dessa região pertence a uma universidade pública, sendo que o menor valor encontrado está localizado no grupo das universidades privadas. No entanto, não se observou diferença estatística significativa entre as médias de IGC entre os grupos das universidades públicas e privadas (p-valor = 0,16). Quanto à variabilidade, as universidades privadas apresentaram maior homogeneidade com relação ao IGC, evidenciando valores menores para o desvio-padrão e coeficiente de variação quando comparadas ao grupo das universidades públicas.

Com relação à região Nordeste, observa-se a média geral muito próxima da região Sul. Assim como as demais regiões, as universidades públicas detêm o melhor desempenho para média do IGC, em que o maior valor está presente, sendo o menor valor encontrado no grupo das universidades privadas. Verificou--se que existe diferença significativa entre os valores médios de IGC para as universidades públicas e privadas da região (p-valor < 0,01). No que se condiz à variabilidade, as universidades privadas apresentaram maior dispersão relativa, evidenciando valor mais elevado para o coeficiente de variação.

Quanto à região Norte, verifica-se média geral do IGC maior do que as das regiões Sul, Centro-Oeste e Nordeste, no entanto, com maior desvio-padrão. No que condiz às categorias administrativas, as universidades públicas apresentaram melhor desempenho em comparação com as privadas para a média do IGC, estando o valor máximo do IGC presente entre as universidades públicas e o valor mínimo, na categoria privada. Observou-se também diferença significativa entre os valores médios de IGC (p < 0,001). No entanto, as universidades privadas apresentaram um menor coeficiente de variação, indicando maior homogeneidade neste grupo.

A partir da análise dos resultados, percebe-se o desempenho superior das universidades públicas em relação às privadas em todas as regiões analisadas. O melhor desempenho do IGC foi observado na região Norte, sendo que a região Sudeste apresentou o segundo melhor desempenho para a média do IGC. As outras regiões apresentaram resultados inferiores, porém com certo equilíbrio entre os valores das médias do IGC, apresentadas na ordem decrescente: Sul, Nordeste e Centro-Oeste.

Quanto à variabilidade, a maior homogeneidade foi evidenciada nas regiões Centro-Oeste e Norte, ambas referentes ao grupo de universidades da categoria privada, enquanto que o restante das regiões apresentou maior heterogeneidade considerando tanto a categoria privada quanto à pública. Destaca-se a categoria das universidades públicas com maior variabilidade observada presente na região Centro-Oeste.

A análise do IGC propicia a identificação de oportunidades de melhoria por parte das instituições, além de estimular políticas públicas nesse setor. Desta forma, a avaliação institucional deve ser incorporada pela gestão da IES, conforme colocado por Júnior (2009, p. 265):

Para que a instituição esteja preparada para enfrentar os desafios contemporâneos, é fundamental que sua realidade, suas virtudes, capacidades e limitações sejam conhecidas pelos seus membros.

O desenvolvimento da educação superior deve passar pela busca da equidade regional, no que condiz tanto ao desempenho de índices de qualidade quanto aos critérios subjetivos de avaliação institucional, respeitando-se as diferenças culturais, econômicas e demográficas. Considerando o referencial teórico sobre o IGC e demais indicadores abordados neste estudo, incluindo a polêmica gerada em torno das interpretações de seus valores e divulgação midiática, os resultados desta pesquisa apontam para a reflexão justamente a respeito do fundamento de tal discussão. Os argumentos contrários à utilização de tais indicadores enfatizam a relevância de que sejam consideradas as diferenças de cultura e identidade entre as instituições para não haver a prática de discriminação e criação de estigmas acerca de IES e suas respectivas regiões.

Os resultados desta investigação refletem uma realidade reveladora, tendo em vista que justamente a média mais elevada do IGC foi evidenciada na região Norte, ganhando maior destaque por apresentar melhor desempenho em relação às demais regiões. Configura-se em região historicamente estigmatizada, devido ao desempenho de seus indicadores socioeconômicos serem, geralmente, abaixo da média nacional. Além disso, essa região não apresenta tradição inerente às IES das regiões Sul e Sudeste.

Dessa forma, fica latente o questionamento sobre tal resultado: o IGC realmente é capaz de refletir a qualidade de determinada IES? Ou seja, o valor calculado para o IGC é capaz de refletir a realidade? Por meio dos valores do gráfico 1, pode-se observar uma realidade até então desconhecida, por revelar um melhor desempenho das IES do Norte e Nordeste em detrimento das regiões Sul e Sudeste, sendo que o senso comum admite exatamente o contrário. A partir disso, surge a necessidade de formulações de hipóteses explicativas para tal resultado, ou seja, a necessidade de mapear as causas ou os componentes avaliativos que ocasionaram resultado tão revelador. Por outro lado, pode-se dizer que os resultados deste estudo servem para quebrar paradigmas e questionar o fundamento dos argumentos contrários ao IGC que, por sua composição, é imparcial, e os resultados retratados não provocaram discriminações entre IES ou regiões, pelo contrário, destacaram regiões historicamente estigmatizadas.

Dessa forma, pode-se verificar, por meio do gráfico 1, certa uniformidade no desempenho das regiões brasileiras quanto ao IGC.

No que se refere ao Brasil, por ser considerado um país de extensão continental, coexistem discrepâncias de toda ordem entre as regiões brasileiras. Entretanto, o IGC estabelece critérios mínimos de desempenho para as IES e a busca por um desempenho uniforme e constante deve ser monitorada e acompanhada. A educação superior, vista sob o prisma de um sistema, pressupõe a interação e coexistência entre diversas instituições que, tendo como ponto em comum organização acadêmica (universidades), não devem se restringir à própria realidade.

A busca pela equidade no desenvolvimento passa pelo feedback da avaliação institucional que também ocorre de forma conjunta e interação entre os pares. O gráfico 1 denota certa hegemonia entre as regiões brasileiras, embora as regiões Sul, Centro-Oeste e Nordeste estejam um pouco abaixo da média do IGC nacional. No entanto, as regiões Sudeste e Norte apresentam média do IGC acima da média nacional, sendo que a primeira evidenciou maior variabilidade.

Considerações finais

A partir da distinção feita entre as universidades públicas e privadas, sobretudo a superioridade da categoria pública, no que diz respeito aos desempenhos para a média do IGC, devemos levar em consideração a composição desse índice de qualidade, o qual é formado pela média ponderada dos CPCs, e este, por sua vez, relaciona subitens de avaliação, tais como: professores doutores e mestres, professores com regime de dedicação integral ou parcial, infraestrutura, organização didático-pedagógica, notas dos concluintes e ingressantes do Enade, e o indicador de diferença entre o desempenho observado e esperado, o chamado IDD (INEP, 2011).

Destaca-se que, na sua maioria, os itens que compõem o CPC favorecem as universidades públicas quanto à facilidade de atendimento aos requisitos da qualificação do corpo docente e regime de trabalho. Para explicar o desempenho superior referente ao IGC nas universidades públicas, tem-se a ponderação feita por Bittencourt et al. (2010), em estudo realizado sobre os itens que compõem o CPC coletados em 2008. Os autores evidenciaram vantagem para o setor público na maioria dos itens que formam o CPC, sendo somente os aspectos referentes à infraestrutura e organização didático-pedagógica os pontos fortes da categoria privada, em que ambos os itens perfazem apenas 10% do CPC.

Tal consideração foi antevista por Cunha (2004, p. 795) que, em artigo sobre o tema, argumenta acerca da ideia de que o desenvolvimento da educação superior ocorre de forma desigual entre os setores público e privado:

O efeito mais dramático desse processo é a improvisação dos professores do setor privado, que produz efeitos negativos para a qualidade do ensino, nos níveis de graduação e pós-graduação.

Uma possível solução para minimizar tal disparidade seria o aumento da oferta de vagas nos cursos de pós-graduação (mestrado/doutorado), com a finalidade de equilibrar o mercado de trabalho desses profissionais e, assim, propiciar condições das universidades particulares a satisfazer esses requisitos.

Em síntese, todas as regiões evidenciaram desempenho superior da esfera pública em comparação com a categoria privada, com os valores médios apresentando diferenças significativas entre as categorias públicas e privadas de algumas regiões.

A região Norte apresentou o melhor desempenho para a média do IGC (2,91), o que denota aspecto revelador sob a ótica do desempenho da educação superior no contexto das regiões brasileiras. Percebe-se, portanto, certa imparcialidade nos valores do IGC na medida em que considera os cálculos de seus componentes formadores de uma maneira objetiva, seguida das regiões Sudeste (2,84), Nordeste (2,76), Sul (2,77) e Centro-Oeste (2,72). A região Sul apresenta menor variabilidade absoluta (0,52), seguida das regiões: Nordeste (0,58), Centro-Oeste (0,59), Norte (0,60) e Sudeste (0,65). Quanto ao desempenho individual, evidencia-se que a região Sudeste é detentora da universidade que apresenta maior IGC (4,28), seguida das regiões Centro-Oeste (4,21) e Norte (4,07), sendo que em todos os casos, trata-se de universidades públicas. A universidade com pior desempenho é da região Sudeste (1,44) da categoria privada, seguida das universidades das regiões Sudeste, novamente (1,65) e Sul (1,57), essas duas últimas advindas da categoria pública.

A educação superior exerce papel fundamental no desenvolvimento econômico de determinado país, no que se relaciona com as demandas da sociedade, como a formação de profissionais qualificados para acompanhar as constantes transformações advindas da economia, tecnologia e informação. Decorre daí a importância da avaliação institucional e acompanhamento de seus indicadores. Conforme colocado por Ribeiro (2012, p. 177):

As IES precisam responder às obrigações da busca contínua da qualidade no desempenho acadêmico, do aperfeiçoamento constante do planejamento e da gestão universitária [...].

Nesse contexto, este artigo buscou, por meio do IGC, que congrega informações a respeito da IES, contribuir com campo de estudos voltado à educação Superior, evidenciando as implicações que os resultados do IGC adquirem quando analisados de forma inter e intra-regional, expondo características como desempenho e variabilidade, considerando IES públicas e privadas.

A realização deste trabalho foi motivada pela possibilidade de tratar o desempenho da educação superior sob o enfoque da abordagem quantitativa capaz de subsidiar análises qualitativas. Dessa forma, este trabalho buscou colaborar com resultados preliminares a respeito da comparação da qualidade da educação superior entre as regiões brasileiras, a partir da análise do IGC. Porém, ressalta-se a necessidade de estudos complementares capazes de contemplar hipóteses explicativas para os resultados do presente estudo. Por isso, a realização de uma avaliação consolidada acerca do desempenho das IES por região deverá ocorrer de forma integrada, ao analisar os resultados do IGC alinhados aos demais subsistemas de avaliação que integram a avaliação multidimensional do SINAES.

Recebido em: 28.06.2013.

Aprovado em: 30.09.2013.

Celina Hoffmann é graduada em processos gerenciais e aluna de mestrado do Programa de Pós-Graduação em engenharia de produção da Universidade Federal de Santa Maria.

Roselaine Ruviaro Zanini é doutora em epidemiologia pela Universidade Federal do Rio Grande do Sul, professora de estatística na Universidade Federal de Santa Maria; coordenadora da especialização em estatística e modelagem quantitativa; professora do Programa de Pós-Graduação em engenharia de produção.

Ângela Cristina Corrêa é doutora em engenharia de produção pela Universidade Federal de Santa Maria, administradora pública federal; pesquisadora colaboradora do Programa de Pós-Graduação em administração da Universidade Federal de Santa Maria; coordenadora do projeto Mapa Estratégico da Educação Superior (MEES), financiado pelo edital Pró-Adm./CAPES.

Julio Cezar Mairesse Siluk é doutor em engenharia de produção pela Universidade Federal de Santa Catarina, professor e coordenador do Programa de Pós-Graduação em engenharia de produção da Universidade Federal de Santa Maria.

Vitor Francisco Schuch Júnior é doutor em educação pela Universidade Estadual de Campinas, professor no curso de graduação e pós-graduação em administração da Universidade Federal de Santa Maria nos mestrados acadêmico e profissional, especialização e programas interinstitucionais.

Lucas Veiga Ávila é graduado em administração e especialista em gestão estratégica de negócios pela Universidade Regional Integrada, aluno de mestrado do Programa de Pós-Graduação em administração de empresas da Universidade Federal de Santa Maria.

• BARREYRO, Gladys Beatriz. De exames, rankings e mídia. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 863-868, nov. 2008.
• BITTENCOURT, Hélio Radke et al. Mudanças nos pesos do CPC e seu impacto nos resultados de avaliação em universidades federais e privadas. Avaliação, Campinas; Sorocaba, v. 15, n. 3, p. 147-166, nov. 2010.
• BRASIL. Lei n. 10.861, de 14 de abril de 2004: Institui o Sistema Nacional de Avaliação da Educação Superior (Sinaes) e dá outras providências.
• BURLAMAQUI, Marco Guilherme Bravo. Avaliação e qualidade na educação superior: tendências na literatura e algumas implicações para o sistema de avaliação brasileiro. Estudos em Avaliação Educacional, v. 19, n. 39, jan./abr. 2008.
• CUNHA, Luiz Antônio. Desenvolvimento desigual e combinado no ensino superior estado e mercado. Educação e Sociedade, Campinas, v. 25, n. 88, p. 795-817, out. 2004.
• DAL MAGRO, Cristian Bau; RAUSCH, Rita Buzzi. Plano de desenvolvimento institucional de universidades federais brasileiras. Administração: Ensino e Pesquisa, Rio de Janeiro. v.13, n.3. p. 427-454, jul./set. 2012.
• DIAS SOBRINHO, José. Avaliação e transformações da educação brasileira (1995 2009): do Provão ao SINAES. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p. 195-224, mar. 2010.
• ______. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.
• GIL, Antônio Carlos. Como elaborar projetos de pesquisa 5. ed. São Paulo: Atlas, 2008.
• GOMES, Fabrício Pereira; ARAÚJO, Richard Medeiros de. Pesquisa quanti-qualitativa em administração: uma visão holística do objeto em estudo. In: SEMINÁRIOS EM ADMINISTRAÇÃO, 8, 2005, São Paulo. Anais.. São Paulo: FEA/USP, 2005.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5. ed., Brasília: INEP, 2009, 328 p.
• ______. Manual dos indicadores de qualidade Brasília: INEP, 2011.
• ______. Censo da educação superior: 2010 – resumo técnico. Brasília:INEP, 2012, 85 p.
• JUNIOR. Nelson de Abreu. Sistema(s) de avaliação da educação superior brasileira. Caderno Cedes, Campinas, v. 29, n. 78, p. 257-269, maio/ago. 2009.
• LIMANA, Amir. Desfazendo mitos: o que estão fazendo com o SINAES. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 869-873, nov. 2008.
• POLIDORI, Marlis Morosini. Políticas de avaliação da educação superior brasileira: provão, SINAES, IDD, CPC, IGC e outros índices. Avaliação, Campinas; Sorocaba, SP, v. 14, n. 2, p. 267-290, jul. 2009.
• RIBEIRO, Elisa Antonia. As atuais políticas públicas de avaliação para a educação superior e os impactos na configuração do trabalho docente. Avaliação, Campinas; Sorocaba, SP, v. 17, n. 2, p. 299-316, jul. 2012.
• ______. Convergências e divergências das práticas de autoavaliação institucional em IES pública e privada na percepção da comunidade acadêmica. Estudos em Avaliação Educacional São Paulo, v. 23, n. 51, p. 168-189, jan./abr. 2012.
• RISTOFF, Dilvo; GIOLO, Jaime. O SINAES como Sistema. RBPG - Revista Brasileirade Pós-Graduação, Brasília, v. 3, n. 6, p. 193-213, dez. 2006.
• SANDER, Benno. Administração da educação no Brasil: genealogia do conhecimento. Brasília: Liber Livro, 2007.
• SCHWARTZMAN, Simon. O "conceito preliminar" e as boas práticas de avaliação do ensino superior. Estudos: Revista da Associação Brasileira de Mantenedoras de Ensino Superior, v. 26, n. 38, p. 9-22, dez. 2008.
• SILVA, Vandré Gomes da. A narrativa instrumental da qualidade na educação. Estudos em Avaliação Educacional, v. 19, n. 40, maio/ago. 2008.
• ZANDAVALLI, Carla Buzato. Avaliação da educação superior no Brasil: os antecedentes históricos do SINAES. Avaliação, Campinas; Sorocaba, v. 14, n. 2, p. 267-290, jul. 2009.

Datas de Publicação

• Publicação nesta coleção
  29 Abr 2014
• Data do Fascículo
  Set 2014

Histórico

• Recebido
  28 Jun 2013
• Aceito
  30 Set 2013