Análise dos indicadores de gestão das IFES e o desempenho discente no ENADE

Analyzing management indexes of Federal Universities against students' performance at ENADE

Análise dos indicadores de gestão das IFES e o desempenho discente no ENADE

Analyzing management indexes of Federal Universities against students' performance at ENADE

Glauber de Castro Barbosa^I; Fátima de Souza Freire^II; Vicente Lima Crisóstomo^III

^IGraduado em Ciências Contábeis pela Universidade de Brasília, Especialista em Gestão Pública e atualmente é mestrando do Programa Multiinstitucional e Inter-regional de Pós-graduação em Ciência Contábeis UnB/UFPB/UFRN. Atualmente é Servidor da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) exercendo o cargo de Analista em Ciência e Tecnologia. Brasília, DF, Brasil. E-mail: [e-mail]

^IIDoutora e Mestre em Economia pela Université des Sciences Sociales de Toulouse I, França, Bacharel em Ciências Contábeis pela Universidade Federal do Ceará. Professora Associada do Departamento de Ciências Contábeis e Atuárias (CCA) da Universidade de Brasília (UnB). Brasília, DF, Brasil. E-mail: [e-mail]

^IIIDoutor em Economia Financeira pela Universidade de Valladolid/Espanha, Mestre em Ciências da Computação pela Universidade Federal de Santa Catarina e Graduado em Ciências Contábeis e Ciências da Computação pela Universidade Federal do Ceará. Professor do Departamento de Ciências Contábeis da Universidade Federal do Ceará. Fortaleza, CE, Brasil. E-mail: [e-mail]

RESUMO

Em nível mundial há uma tendência de avaliação do ensino superior, considerando-se aspectos institucionais e de desempenho discente. No Brasil, o tema tem sido debatido há algum tempo com processos concretos de avaliação sendo implantados recentemente. As Instituições Federais de Ensino Superior (IFES) estão sendo avaliadas por meio de indicadores de gestão propostos pelo Tribunal de Contas da União (TCU). Por outro lado, o desempenho discente de graduandos está sendo avaliado através do Exame Nacional de Desempenho dos Estudantes (ENADE). De certa forma, os indicadores de gestão podem ser instrumentos adicionais de apoio para a gestão de IFES. O objetivo deste trabalho é analisar possíveis relações entre indicadores de gestão e desempenho discente. Para tanto, pesquisou-se uma amostra de 52 IFES no período de 2006 a 2008. Os resultados indicam que, de fato, alguns indicadores de gestão parecem ser capazes de influenciar o desempenho discente. Este é o caso, por exemplo, do custo por aluno que apresentou um efeito positivo sobre o desempenho dos alunos.

Palavras-chave: IFES. Indicadores de gestão. ENADE.

ABSTRACT

There a trend toward the evaluation of higher education in many countries, taking into account institutional management and student performance. In Brazil, the topic has been debated for some time with concrete evaluation experiences recently. Federal Universities (IFES) are evaluated through management indexes proposed by TCU (Federal Court of Audit). Meanwhile, students are evaluated by ENADE (National Examination of Student Performance). In a certain way, management indexes may be additional instruments for IFES management. The purpose of this work is analyzing possible relations between management indexes and students' performance at ENADE. We have analyzed a sample of 52 IFES in the period 2006-2008. Results signal that, indeed, some management indexes seem to be able to influence students' performance. This is the case, for example, of the cost by student that has shown a positive effect on students' performance.

Key words: Federal Universities. Management indexes. Students' performance at ENANDE.

1 INTRODUÇÃO

Desde os anos 1960 o tema de avaliação e reforma universitária tem estado presente na pauta de governos no Brasil a partir do Plano Atcon, com propostas no sentido da privatização do ensino superior no país, até a implantação do atual Sistema Nacional de Avaliação da Educação Superior (SINAES) com a Lei 10.861/2004 (FÁVERO, 2006; POLIDORI, 2009; RISTOFF; GIOLO, 2006; ZANDAVALLI, 2009). A preocupação com a responsabilidade institucional e prestação de contas aos financiadores, muito presente nos dias atuais sob o enfoque stakeholder, parece ser algo presente neste contexto, seja a nível mundial ou de Brasil, principalmente ao considerar-se a avaliação de universidades públicas.

Experiências em diferentes países têm mostrado que há muitas dificuldades no processo de avaliação de instituições de ensino superior devido à complexidade destas entidades, que têm peculiaridades bem distintas de empresas (NEAVE 1988, 1998; YONEZAWA, 2008; WOODHOUSE; GOLDSTEIN, 1988; BIGGERI; BINI, 2001). Há dificuldades do ponto de vista operacional e político. É difícil o estabelecimento de critérios de avaliação isentos de imperfeições para uma instituição que tem como objetivo formar profissionais cidadãos, que devem ter uma formação ampla, sujeita a atividades de ensino, pesquisa e extensão. Como mensurar a qualidade destas atividades é uma questão ainda em aberto como a literatura tem deixado claro (BERTOLIN, 2007, 2009; BIGGERI; BINI, 2001; YONEZAWA, 2008). Mesmo diante dos avanços já obtidos, Yonezawa, por exemplo, considera que no Japão o processo está ainda em estágios iniciais. Na verdade, as controvérsias e resistências encontradas em diversos segmentos parecem não estar sendo capazes de impedir a continuidade deste processo. De fato, o tema está presente em fóruns políticos e educacionais e há demanda por informações sobre avaliação por parte da sociedade (CHARON; WAUTERS, 2008; WORLD BANK, 1994).

Mecanismos de avaliação, interna e externa, têm estado no centro de debates e experiências em distintos países (SARRICO; DYSON; ATHANASSOPOULOS, 1997). A avaliação externa tem ganhado importância, em função de necessidade de maior isenção no processo. No Brasil, a avaliação externa ganhou mais destaque no governo Sarney quando se destacou distintas modalidades de avaliação desta, e, a busca de otimização de recursos humanos e materiais das universidades no relatório da Comissão Nacional para Reformulação do Ensino Superior (CNRES) que motivou o Decreto nº 92.200/1985 que, no Art. 1º, IV, declara como objetivo a implantação de um sistema de acompanhamento e avaliação das instituições de ensino superior. A partir deste momento, a avaliação externa ganhou relevância chegando-se ao Exame Nacional de Cursos (ENC) na segunda metade dos anos 1990, e, ao estabelecimento de indicadores de gestão pelo Tribunal de Contas da União (TCU) juntamente com a Secretaria Federal de Controle Interno e a Secretaria de Educação Superior do Ministério da Educação (SESu) em 2002.

Tanto os indicadores de gestão institucional como as métricas de mensuração de desempenho discente, atualmente em uso no Brasil, são instrumentos de avaliação externa que têm sido muito criticados e questionados (DIAS SOBRINHO, 2008, 2010; POLIDORI, 2009). Sem dúvida é necessário que instrumentos desta natureza estejam sujeitos a constantes avaliações no sentido de aperfeiçoá-los. Ao observar-se sua utilização por distintos governos, parece que há uma tendência a não abandoná-los, apesar das críticas.

Há uma importante, e pertinente, literatura que apresenta contrapontos aos processos avaliativos ora adotados no Brasil, que merece atenção (DIAS SOBRINHO, 2008; POLIDORI, 2009). A avaliação universitária medida pelo desempenho discente é apenas um dos aspectos deste contexto avaliativo e, a escolha de métricas adequadas para tanto, ainda é tema de extenso debate (CHARON; WAUTERS, 2008; BERTOLIN, 2007; BIGGERI; BINI, 2001). Por outro lado, a avaliação de gestão é certamente algo prioritário em instituições privadas que devem fazê-la com propriedade. No entanto, a avaliação de gestão de instituições públicas, com suas particularidades específicas de gestão de órgãos do serviço público, terá as deficiências inerentes a esta condição (SOUZA, 2009). Nestes casos, ganha relevo a atuação de órgãos de controle externo que prestam importante serviço ao governo.

Este trabalho tem como foco a questão avaliativa relativa a Instituições Federais de Ensino Superior (IFES). Apesar das eventuais deficiências dos processos avaliativos atuais destas instituições pretende-se dar uma contribuição ao fazer-se uma pesquisa sobre possíveis influências de aspectos de gestão sobre o desempenho de alunos formados por estas instituições, sendo este o objetivo do presente trabalho.

O trabalho encontra-se dividido em 5 seções, incluindo esta introdução. A seção 2 apresenta brevemente a questão da avaliação do ensino superior no Brasil e as hipóteses de pesquisa, incluindo o sistema de indicadores de gestão usado pelo governo, bem como o atual processo de avaliação de desempenho de alunos egressos das IFES. A seção 3 descreve a amostra e os modelos utilizados. A seção 4 apresenta a análise e as discussões dos resultados. Por fim, a seção 5 contém as considerações finais.

2 AVALIAÇÃO DE IFES E HIPÓTESES

2.1 Avaliação da Educação Superior

A necessidade crescente de formação de pessoas mais qualificadas em contraste com a dificuldade de financiamento da educação em vários países tem motivado o debate sobre a avaliação de instituições de ensino superior e a otimização no uso de recursos (WORLD BANK, 1994). No caso brasileiro, o ensino superior tem estado predominantemente nas mãos do Estado, o que tem destacado ainda mais a problemática do financiamento. O estímulo à atuação da iniciativa privada, assim como uma redefinição do papel do Estado, dando mais autonomia às instituições públicas, têm sido caminhos adotados em distintos países no sentido de incrementar o número de vagas no ensino superior e melhorar a qualidade do mesmo.

A evolução do processo de avaliação do ensino superior no Brasil está bem relatada e analisada em um conjunto de importantes publicações recentes (FÁVERO, 2006; POLIDORI, 2009; ZANDAVALLI, 2009).

Fávero (2006) e Zandavalli (2009) consideram que a importância do plano Atcon nos anos 1960 está associada ao fato de ter sido um dos primeiros processos avaliativos oficiais da estrutura da universidade brasileira. A aplicação das propostas do plano Atcon pressupunham a implementação de processos avaliativos na medida em que buscavam controlar a utilização de recursos e gerar uma associação entre investimentos e resultados. O planoAtcon teve forte influência ideológica norte-americana, enquanto iniciativas seguintes estiveram fortemente influenciadas pelo governo militar que patrocinou os trabalhos do grupo liderado pelo General Meira Mattos e do Grupo de Trabalho da Reforma Universitária (Decreto n.º 62.937/1968) que deu origem à reforma universitária de 1968 (Lei nº 5.540/1968). A questão avaliativa não foi o ponto central desta reforma que, dentre outros, tinha como objetivo traçar uma estratégia para a implantação de pesquisa e cursos de pós-graduação na universidade brasileira. Os cursos de pós-graduação, implantados a partir de então, foram sendo estruturados e passaram a ser submetidos a processos de avaliação pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) a partir de 1977.

Em 1983, é criado o Programa de Avaliação da Reforma Universitária (PARU) que, diferentemente das comissões anteriores, conta com a participação de professores universitários. O PARU é considerado uma experiência sistematizada de avaliação das universidades brasileiras, segundo Zandavalli (2009), e teve curta duração em função do momento de transição política.

No governo Sarney, coincidindo com a escassez de recursos para financiamento público, a questão da avaliação do ensino superior volta ao centro do debate com os trabalhos da Comissão Nacional para Reformulação do Ensino Superior (CNRES) (Decreto nº 91.117/1985) e do Grupo Executivo para a Reformulação do Ensino Superior (GERES) (Portaria nº 100/1986). Os resultados destes dois grupos de trabalho trazem pontos em comum: a proposta de implantação de sistemas de avaliação e valorização do desempenho de universidades, e; a necessidade de maior eficiência no processo de financiamento por meio da melhoria da melhoria da gestão do uso de recursos públicos.

O relatório do GERES, na seção "Autonomia e Avaliação", reforça a necessidade de avaliação de cursos de graduação, de modo similar ao que já ocorria na pós-graduação. A proposta é que haja controle social a partir de um sistema de avaliação de desempenho que seria gerido pela Secretaria de Educação Superior (SESu) do Ministério da Educação – MEC, com a colaboração da comunidade acadêmica. O processo deveria ser capaz de avaliar o desempenho institucional e a qualidade dos cursos.

O relatório da CNRES indica dimensões da universidade passíveis de avaliação: avaliação de cursos, avaliação de alunos, avaliação de professores, avaliação didático-pedagógica do ensino, avaliação de servidores técnico-administrativos, e, avaliação das carreiras. E o mesmo relatório avança sugerindo modalidades de avaliação: autoavaliação, avaliação governamental, avaliação por parte da comunidade e, avaliações independentes. Nota-se o destaque dado à avaliação externa que, a partir de então passa a ter mais importância, ao se prever três modalidades de avaliação nesta direção. A especificação de dimensões da universidade sujeitas ao processo de avaliação também estará presente a partir deste momento até a instituição do atual Sistema Nacional deAvaliação da Educação Superior (SINAES – Lei 10.861/2004) que estabeleceu três pilares de avaliação de universidades em nível de graduação: avaliação institucional; avaliação de cursos e; avaliação do desempenho de estudantes. Estes eixos de avaliação estão em sintonia, por exemplo, com o caso italiano relatado por Biggeri e Bini (2001). De modo similar, a avaliação externa também passou a estar presente em todas as propostas de processos de avaliação a partir de então.

A dificuldade no estabelecimento de métricas adequadas de avaliação talvez tenha atrasado a implantação efetiva de processos de avaliação. Em 1993, é criado o Programa de Avaliação das Universidades Brasileiras (PAIUB) que lança uma proposta de avaliação a nível nacional, na qual explicita, dentre outros elementos, os indicadores de avaliação. O PAIUB destaca a necessidade de eficiência no financiamento e de prestação de contas aos financiadores (accountability). O documento do PAIUB também dá relevo à necessidade de articulação da avaliação interna com a externa e dos aspectos qualitativos e quantitativos em ambas, como também a natureza contínua e sistemática do processo de avaliação.

Em 1995, apesar de muitas críticas, o governo cria o Sistema Nacional de Avaliação (SNA) e com ele o Exame Nacional de Cursos (ENC) (Lei nº 9.131/1995), o Provão, que, constitui-se uma concreta avaliação externa do desempenho discente.

A flexibilização na criação de novas instituições de ensino superior é alcançada através da nova Lei de Diretrizes e Bases – LDB (Lei 9.394/1996) e do Decreto 2306/1997, que cria novas formas jurídicas para Instituições de Ensino Superior (Centros Universitários e Faculdades Integradas) com o objetivo de aumentar a oferta de vagas para o ensino superior com menos custos para o governo (BERTOLIN, 2009).

Em 2001 é estabelecido o Plano Nacional de Educação (PNE) (Lei 10.172/2001) e são estabelecidas regras para a realização de avaliação nas Instituições de Ensino Superior (IES) em processo de recredenciamento (Portaria 1.465/2001). Também se muda as regras de organização e avaliação de cursos e de IES (Decreto 3.860/2001), cujas avaliações são usadas para reconhecimento e renovação, e, credenciamento e recredenciamento, de cursos.

A Lei 10.861/2004 institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) que tem como objetivo assegurar o processo nacional de avaliação das IES, de cursos de graduação e do desempenho acadêmico dos estudantes. O SINAES é proposto para avaliar os três pilares das IES, já citados anteriormente: (1) avaliação institucional; (2) avaliação de cursos e (3) avaliação do desempenho de estudantes. O terceiro pilar é atendido pela realização do Exame Nacional de Desempenho dos Estudantes (ENADE), que substituiu o antigo Exame Nacional de Cursos (Provão). Por outro lado, os dois primeiros pilares são avaliados por visitas locais complementadas por autoavaliações bem como podem também ser criados indicadores de gestão institucional que possam dar suporte a estas avaliações.

Como se observa, a questão avaliativa do ensino superior tem estado presente no Brasil. No entanto, há uma distinção entre a avaliação do ensino superior e avaliação de instituições públicas. A avaliação do ensino superior se aplica a qualquer instituição, privada ou pública, que preste este serviço. A gestão de instituições privadas não está sujeita a intervenção governamental. Por outro lado, uma instituição pública de ensino superior tem sua gestão fortemente influenciada por políticas governamentais e, neste caso, a prestação de contas para com a sociedade vai além da obrigação de formar bons profissionais cidadãos, mas também está associada à correta utilização de recursos públicos. No Brasil, o ensino superior está muito concentrado em universidades públicas e isto tem obrigado o governo a dedicar atenção especial a estas instituições que têm passado por processos avaliativos de desempenho discente e, adicionalmente, por auditorias de gestão, notadamente as IFES.

2.2 Atual Avaliação do Desempenho Discente

O Exame Nacional de Cursos (ENC), o Provão, (Lei 9.131/1995), foi efetivado a partir de 1996 e perdurou até o ano de 2003. Apesar das imperfeições, o ENC foi o primeiro processo de avaliação de egressos do ensino superior, a nível nacional, no Brasil. As críticas pertinentes, que continuam até os dias atuais, sobre a nova formatação, são na direção de ser este exame um instrumento que não permite uma avaliação eficaz e com rigor metodológico necessário de instituições de ensino superior. Além disto, sua aplicação, no lugar de ser utilizado como elemento de reflexão, seja para instituições ou para o governo, foi usado para imediato estabelecimento de classificação entre instituições (ranking) mesmo ainda sendo um processo inicial em amadurecimento (DIAS SOBRINHO, 2010; POLIDORI, 2009). Processos de comparação entre instituições através de classificações, por distintos critérios, podem ser pertinentes e úteis para atender a distintas demandas como destacado por Charon e Wauters (2008). No entanto, é essencial que se tenha estratégias de avaliação com alto rigor metodológico e amadurecidas através de experiências anteriores, preferencialmente.

O Sistema Nacional de Avaliação da Educação Superior (SINAES) (Lei 10.861/2004) estabelece os três pilares universitários para avaliação (supracitados): avaliação institucional; avaliação de cursos e, avaliação do desempenho discente. A avaliação de desempenho do corpo discente passa a ser feita por intermédio do Exame Nacional de Desempenho dos Estudantes (ENADE) (parágrafo 1º do artigo 5º da Lei 10.861/2004):

O ENADE aferirá o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas com petências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento.

O ENADE passa a ser componente curricular obrigatório, sendo aplicado periodicamente aos alunos de todos os cursos de graduação, ao final do primeiro e do último ano de curso, avaliando desta maneira alunos ingressantes e concluintes. Até o ENADE realizado em 2009, os alunos participantes eram selecionados por amostragem, passando a ser obrigatório para todos a partir de 2010. A periodicidade do exame é anual, sendo dividido em grandes áreas que se repetem a cada três anos. Os estudantes são submetidos a uma prova única, composta de 40 questões, sendo 10 questões relativas a conhecimentos gerais e 30 relacionadas a temas específicos da área de formação do aluno. As duas partes contêm questões discursivas e de múltipla escolha.

Os resultados são divulgados por dois conceitos: Conceito ENADE e Conceito IDD. O Conceito ENADE é obtido pela média ponderada da nota padronizada dos concluintes em conhecimentos específicos, da nota padronizada dos ingressantes em conhecimentos específicos e da nota padronizada na parte de formação geral (concluintes e ingressantes). Atribui-se a estas, respectivamente, os seguintes pesos: 60%, 15% e 25%. Assim, a parte referente ao conhecimento específico contribui com 75% da nota final do curso, enquanto que o geral contribui com 25% (INEP, 2010). O conceito é apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o melhor resultado possível, na área.

Por sua vez, o Conceito IDD (Indicador de Diferença entre o Desempenho Observado e Esperado) tem o propósito de apresentar às instituições informações comparativas de desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes (INEP, 2010). Este conceito tem a função de mensurar o conhecimento agregado ao longo do curso e também é apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o melhor.

Em 2008, dois novos indicadores são criados: o Conceito Preliminar de Curso (CPC) (Portaria Normativa nº 4/2008) e o Índice Geral de Cursos da Instituição de Educação Superior (IGC) (Portaria Normativa nº 12/2008). O CPC é composto por: (i) conceito ENADE, com atribuição de 40%; (ii) conceito IDD com 30%; e (iii) insumos atribuídos, 30% da nota final. Em função desta metodologia, Polidori (2009) considera que o CPC tem sua composição enviesada uma vez que 90% de seu conteúdo é formado por dados oriundos da avaliação de desempenho discente, 70% do ENADE e IDD, e os 30% referentes aos insumos são informações referentes à infra-estrutura e instalações físicas e recursos didáticos que são obtidas de questionários respondidos pelos alunos que participam do ENADE. Desta forma, o CPC e o IGC estão fortemente influenciados por informações de um único dos três pilares previstos como essenciais pelo SINAES, qual seja, a avaliação do desempenho dos estudantes. O IGC, por sua vez, é calculado pela média ponderada dos CPC, sendo a ponderação determinada pelo número de matrículas em cada um dos cursos de graduação correspondentes, e da média ponderada das notas dos programas de pós-graduação, obtidas a partir dos conceitos da CAPES, sendo a ponderação baseada no número de matrículas em cada um dos cursos ou programas de pós-graduação stricto sensu correspondente.

Neste trabalho utilizamos somente a avaliação do desempenho discente medida pelo ENADE e IDD como aproximação para o desempenho do egresso que, apesar das limitações, é a que se dispõe no estágio atual.

2.3 Indicadores de Gestão de IFES

Conforme o artigo 2º do Decreto nº 5.773/2006, o sistema federal de ensino superior compreende as Instituições Federais de Educação Superior (IFES), as instituições de educação superior de iniciativa privada e os órgãos federais de educação superior.

As IFES são dotadas de autonomia, do ponto de vista legal, para gerir suas atividades como, por exemplo, criar ou extinguir vagas e/ou cursos de graduação ou pós-graduação. A maior parte do financiamento de suas atividades advém de repasses orçamentários do Ministério da Educação embora elas também trabalhem com recursos próprios.

Indicadores de desempenho como instrumentos de suporte ao processo de avaliação de eficiência de universidades têm sido utilizados em diferentes países (BIGGERI; BINI, 2001; DUNDAR; LEWIS, 1999; WORLD BANK, 1994; YONEZAWA, 2008). Um consenso parece ser a dificuldade de se encontrar indicadores baseados em métricas isentas de críticas, que sejam adequados e, efetivamente, úteis ao processo de avaliação interna e externa. No entanto, diferentes iniciativas têm trabalhado em propostas de índices de avaliação em diferentes países, o que demonstra a importância que se tem dado à questão (BERTOLIN, 2007; NAVARRA, 2004).

No caso de Instituições Federais de Ensino Superior (IFES) no Brasil, os indicadores de gestão propostos pelo Tribunal de Contas da União (TCU), juntamente com a Secretaria Federal de Controle Interno e a Secretaria de Educação Superior do Ministério da Educação (SESu/MEC), são, no momento atual, instrumentos que podem servir de suporte à avaliação do pilar avaliação institucional.

No contexto da correta utilização de recursos, diretamente associado à gestão institucional, Alonso (1999) defende a necessidade de um controle de custos em uma instituição pública para que se possa falar em avaliação de eficiência da mesma. Esta ideia está em sintonia com a evolução do processo de histórico de avaliação de IFES que enfatiza a otimização no uso de recursos públicos. Nesta direção, há casos concretos de busca de sistemas de apuração de custos (MORGAN, 2004). Em 1973 o Ministério da Educação (MEC), em parceria com a Universidade de Brasília (UnB), apresentou estudo de custos e alocação de recursos. Em 1974, a Universidade Federal da Bahia (UFBA) apresentou um modelo de apropriação de custos. Em 1994 o na época Ministério da Educação e Desporto expediu o manual intitulado de Sistema de Apuração de Custos das Instituições Federais de Ensino Superior (SAC), que orientava as IFES a apurarem seus custos.

Nesse contexto, o Tribunal de Contas da União (TCU) realizou uma auditoria de natureza operacional na UnB, a fim de selecionar e apurar indicadores que pudessem retratar aspectos relevantes sobre o desempenho das instituições de ensino superior. Em seguida, a sistemática foi testada em outras cinco instituições: Universidade Federal do Amazonas (UFAM), Universidade Federal de Pernambuco (UFPE), Universidade Federal de Goiás (UFG), Universidade Federal do Rio de Janeiro (UFRJ) e Universidade Federal do Rio Grande do Sul (UFRGS). Em 2002 o TCU, em parceria com Secretaria de Ensino Superior (SESu/MEC), e com a Secretaria de Finanças e Controle (SFC) expediu, então, a Decisão nº 408/2002 – TCU – Plenário, na qual as IFES deveriam incluir uma série de indicadores no Relatório de Gestão. O objetivo da inclusão desses dados nos relatórios de gestão era a construção de uma série histórica para acompanhar a evolução de aspectos relevantes do desempenho de todas as IFES. Consciente da necessidade de avaliação constante, o TCU já previu que, ao longo dos anos, será possível verificar a necessidade de aperfeiçoamentos em áreas específicas de gestão das IFES, ou mesmo a correção de eventuais disfunções (BRASIL, 2010).

Consideramos que o conjunto atual de indicadores não seja completo e imune a imperfeições. Tais indicadores são determinados por órgãos externos às IFES e pensamos ser necessária uma avaliação periódica dos mesmos visando correção de distorções e aprimoramento dos mesmos como o previsto pelo próprio TCU.

Um conceito importante para a compreensão dos indicadores de gestão usados pelo TCU/MEC é o "Aluno Equivalente" que consiste em um indicador que representa uma aproximação para o número equivalente de estudantes de tempo integral, tendo sido inspirado no modelo inglês. O cálculo do aluno equivalente integra quatro indicadores parciais, referentes às atividades educacionais nos seguintes níveis: graduação; mestrado stricto sensu; doutorado; e residência médica. O indicador Aluno Equivalente inclui todos os cursos de caráter permanente e exclui aqueles que são autofinanciáveis (financiados por parcerias com entes públicos ou privados, como por exemplo, um mestrado profissional).ADecisão nº 408/2002 foi atualizada pelos acórdãos nº 1043/2006 e nº 2167/2006 que estabelecem a obrigatoriedade das IFES divulgarem nove indicadores de desempenho a seguir comentados:

IND-1 Custo Corrente/Aluno Equivalente

O indicador IND-1 (Custo Corrente/Aluno Equivalente) representa a relação entre as despesas correntes de todas as unidades gestoras menos as despesas com sentenças judiciais, aposentadorias, reformas e pensões, pessoal afastado ou cedido e, também 65% das despesas correntes dos hospitais universitários e maternidade; pelo aluno equivalente que é o número de alunos equivalentes da graduação, mais o número de alunos em tempo integral de pós-graduação e de residência médica. Com as adaptações propostas pelos acórdãos 1043 e 2167/2006, motivados pelas sugestões da IFES, o TCU possibilitou calcular este indicador considerando Hospital Universitário ou não, se considerar exclui 65% das despesas correntes e se não considerar, exclui 100%.

Essa possibilidade de considerar ou não os gastos com Hospitais Universitários justifica-se pelo fato de pesquisas como as realizadas por Gaetani e Schwartzman (1991), Morgan (2004) e Reinert (2005) excluírem totalmente estes gastos para fins de mensuração do custo para formação de um aluno, por outro lado Wolynec (1990) e Camacho (1993) entendem que a parcela despendida com o ensino deve ser considerada. Cabe destacar que o parâmetro utilizado pelo TCU envolve certa subjetividade, pois entende que 35% dos gastos dos hospitais universitários são demandados para o ensino, no entanto Silva et al (2007) constataram que no Hospital Universitário da UNB, em 2003, apenas 13% dos gastos foram para este fim.

IND-2 Aluno Tempo Integral / Professor Equivalente

O indicador Aluno Tempo Integral / Professor Equivalente evidencia a relação entre o número de alunos em tempo integral e número de professores equivalentes. Para encontrar o número de professor equivalente há os seguintes pesos: 0,5 para 20 horas por semana e 1 para dedicação exclusiva ou 40 horas por semana, por exemplo, um corpo docente com um professor em regime de 20 horas semanais e um com 40 horas semanais serão equivalentes a 1,5 professores. Portanto, o IND-2 representa proporcionalmente a quantidade de alunos que estão sob a tutela acadêmica de um professor.

(IND-3) Aluno Tempo Integral / Funcionário Equivalente

O indicador Aluno Tempo Integral / Funcionário Equivalente representa a relação de alunos em tempo integral pelo número de funcionários equivalentes, que é obtido por meio dos seguintes pesos: 0,5 para 20 horas por semana, 0,75 para 30 horas por semana e 1 para 40 horas por semana. Significa dizer que um funcionário trabalhando 30 horas por semana é equivalente a 0,75 funcionário para fins de cálculo. Semelhante ao IND-1 indicador este pode ser calculado considerando o Hospital Universitário ou não. Esse indicador demonstra a produtividade e a eficiência dos funcionários de uma instituição, a partir do cálculo do número médio de alunos por funcionário.

(IND-4) Funcionário Equivalente com HU / Professor Equivalente

O indicador Funcionário Equivalente com HU / Professor Equivalente é a razão entre o número de funcionários equivalentes pelo número de professor equivalente, encontrados pelas relações de peso já apresentadas. De forma semelhante ao indicador anterior pode-se analisar o funcionário equivalente com ou sem Hospital Universitário.

(IND-5) Grau de Participação Estudantil (GPE)

O GPE é obtido por meio da razão entre o número de alunos em tempo integral e o número total de alunos matriculados nos cursos de graduação. Este indicador expressa o grau de utilização, pelo corpo discente, da capacidade instalada da IFES e a velocidade de integralização curricular.

(IND-6) Grau de Envolvimento Discente com Pós-Graduação (GEPG)

O GEPG demonstra a intensidade do envolvimento discente com a pósgraduação stricto sensu, é alcançado por meio da divisão do total de alunos de pós-graduação pela soma do total de alunos de graduação e pós-graduação.

(IND-7) Conceito CAPES/MEC para a Pós-Graduação

O conceito CAPES/MEC indica a qualidade dos cursos de pós-graduação stricto sensu avaliados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Este conceito é obtido pela divisão entre o somatório dos conceitos dos diversos programas e a quantidade de programas de pósgraduação. Cabe destacar que os mestrados profissionalizantes são excluídos deste cálculo.

O Conceito CAPES/MEC já está consolidado. O mesmo avalia itens como a publicação dos docentes e discentes, tempo de permanência nos cursos, estrutura física, etc. o conceito varia de 1 a 7, quanto maior o conceito melhor o programa. No entanto, para fins de cálculo desse indicador, se o programa tiver apenas curso de mestrado a nota máxima que ele pode ter é 5.

(IND-8) Índice de Qualificação do Corpo Docente (IQCD)

O IQCD mensura a qualidade do corpo docente, variando entre 1 e 5. Os professores são pontuados de acordo com sua titulação, da seguinte forma: 1 se for apenas graduado; 2 se for especialista; 3 se for mestre; e 5 se o docente for doutor.

(IND-9) Taxa de Sucesso na Graduação (TSG)

A TSG é obtida pela razão entre o número de diplomados e o número de ingressantes, ajustados pelo ano em que esses alunos ingressaram na instituição e por um tempo de permanência esperado, fixado pela SESu/MEC para cada curso. Este indicador apresenta de forma inversa o grau de evasão dos alunos que ingressam na IFES.

2.4 Hipóteses

Apesar de possíveis imperfeições existentes nas diversas métricas utilizadas para o cálculo de indicadores de gestão do TCU, o uso destes coaduna-se com o pensamento da administração gerencial. Eles têm como objetivo ser um instrumento a mais para dar suporte ao processo de avaliação institucional das IFES. Por outro lado, a complexa e polêmica avaliação de desempenho discente atualmente em uso, o ENADE, permite mensurar, de certa forma, o egresso destas instituições.

Alguns trabalhos já têm sido desenvolvidos fazendo uso de indicadores de gestão de IFES. Morgan (2004), motivada pelos indicadores propostos pelo TCU, desenvolveu uma metodologia de apuração de custos, testada na UnB. Semelhantemente, Reinert (2005) analisou vários estudos e também propôs uma metodologia de apuração de custos para as IFES, testando-a na Universidade Federal de Santa Catarina (UFSC).

Fernandes (2009) analisou a relação dos gastos executados pelas IFES com a qualidade das atividades de ensino, de pesquisa e de extensão no período de 1998 a 2006. Para tal, o autor desenvolveu um conjunto de indicadores que revelaram a qualidade das atividades acadêmicas e a forma de gastos das instituições. Com os indicadores desenvolvidos – utilizando dados da SESu, do Instituto Nacional de Estudos e Pesquisas EducacionaisAnísio Teixeira (INEP), da CAPES, da Secretaria do Tesouro Nacional (STN), dentre outros –, foram calculados 180 modelos para a detecção das relações entre a qualidade e os gastos das universidades.

Por sua vez, Gurgel (2010) analisou o desempenho dos estudantes das áreas de ciências agrárias, saúde e serviço social do Estado do Piauí, para tal fez uma comparação entre o resultado do ENADE dos estudantes da Universidade Federal do Piauí (UFPI) e de outras instituições do Estado nos anos de 2004 e 2007. A pesquisa demonstrou um desempenho satisfatório e consistente dos cursos das áreas analisadas em 2004 na UFPI, já em 2007 os mesmos cursos avaliados apresentaram decréscimo em relação ao exame anterior.

Freire, Crisóstomo e Castro (2008) verificaram se o desempenho administrativo das IFES, obtidos pelos indicadores propostos pelo TCU, tem relação com o desempenho acadêmico, mensurado pelo ENADE. A pesquisa analisou 27 IFES das 5 regiões brasileiras no ano 2005. Os resultados mostraram relação entre os indicadores de gestão e o ENADE em três medidas: aluno tempo integral/funcionário equivalente; grau de participação estudantil; e taxa de sucesso na graduação. No entanto, contrariando as expectativas não se observou efeito positivo com relação ao custo corrente por aluno.

Concordando com Freire, Crisóstomo e Castro (2008), consideramos que não se tem conhecimento preciso dos fatores que efetivamente influenciam o desempenho de um aluno. No entanto, pode-se esperar que uma boa gestão institucional seja um fator que possa favorecer o melhor desempenho discente. Apesar das críticas e polêmica relativas aos indicadores de gestão usados pelo TCU, atualmente parece ser uma aproximação razoável que se dispõe para a gestão de IFES. Nesta direção, o presente estudo, de modo similar ao realizado por Freire, Crisóstomo e Castro, faz uma pesquisa sobre possíveis efeitos da gestão de IFES, aproximada pelos indicadores de desempenho propostos pelo TCU e o desempenho discente de egressos destas instituições, aproximado pelo conceito ENADE e IDD.

A complexidade dos indicadores motiva a proposição de hipóteses específicas para cada índice utilizado.

O primeiro indicador (IND-1) representa a relação entre o custo corrente e o número de alunos equivalentes. Tem-se um indicador do custo por aluno que deverá corresponder a melhores condições de infra-estrutura e serviços disponibilizados ao corpo discente. Em princípio, espera-se que melhor infra-estrutura contribua para melhor desempenho discente. Assim, tem-se a expectativa de uma relação positiva deste indicador com o desempenho discente medido aproximado pela nota no ENADE (e IDD).

No que concerne à relação entre o número de alunos e o número de professores (IND-2) há a expectativa de que quanto menor essa relação melhor será a formação do aluno, uma vez que existirão mais docentes assistindo os alunos, portanto espera-se uma relação inversa do indicador com o desempenho discente.

Da mesma forma, para a relação entre o número de alunos e o de funcionários (IND-3) entende-se que haverá um melhor rendimento do discente à medida que há mais funcionários prestando assistência aos mesmos e, por conseguinte, a expectativa é de uma relação inversa entre o indicador e o desempenho discente.

Funcionários administrativos e docentes têm a função de apoiar o aluno em sua formação, sendo que o primeiro de forma indireta e o segundo de forma direta, sendo este mais importante neste processo de formação. Um mais elevado número de professores deve ter mais forte efeito positivo no desempenho discente. Neste sentido, visando este melhor desempenho, é preferível que haja, proporcionalmente, mais professores do que funcionários na instituição.Assim, a relação do número de funcionários pelo número de professores (IND-4) será maior caso o número de docentes supere o de funcionários o que é desejável como impulsionador do desempenho discente. Seguindo esta argumentação espera-se uma relação inversa entre o IND-4 e o desempenho discente.

O grau de participação estudantil (IND-5) representa a relação entre os alunos em tempo integral e o total de matriculados. Dessa maneira, a percepção é de que quanto mais alunos em tempo integral melhor será a sua formação e, portanto melhor desempenho no ENADE. A expectativa é de que haja uma relação positiva entre este o grau de participação estudantil e o desempenho discente.

O IND-6 denota o grau de envolvimento discente com a pós-graduação. Um mais elevado número de discentes de graduação envolvidos com um nível de formação mais elevado deverá ter um efeito positivo na formação destes considerando que tal envolvimento ocasiona mais contato com atividades de pesquisa nas quais o aluno tem a oportunidade de solidificar conhecimentos adquiridos em sala de aula e envolver-se com estudos mais avançados. Em sintonia com esta argumentação espera-se que haja uma relação positiva entre o IND-6 e desempenho discente.

Uma pós-graduação com melhor qualidade provavelmente influenciará positivamente a formação do alunado de graduação. Consideramos isto pelo fato de que departamentos com mais atividades de pós-graduação normalmente devem dispor de melhor infra-estrutura para atender ao público da pós-graduação. Esta melhor infra-estrutura, bem como o intercambio de conhecimentos mais intenso, natural em programas de pós-graduação stricto sensu, têm reflexos positivos também na formação dos graduandos. Estes se vêem mais motivados a aprofundar estudos e participar em projetos de pesquisa, o que impulsiona o aprendizado. Neste sentido, há uma expectativa de relação positiva entre o IND-7 e desempenho discente.

O IND-8 mensura a qualificação dos docentes de uma instituição. É de se esperar que quanto melhor for o grau de formação dos professores melhor será a qualidade da atividade docente com efeito positivo na formação dos alunos. Assim, espera-se que haja uma relação positiva entre o IND-8 o desempenho discente.

A taxa de sucesso na graduação (IND-9) sinaliza se o aluno está concluindo o curso em tempo regular. Este tende a ser um indicador de mais dedicação à atividade acadêmica que deve ter um efeito positivo no desempenho acadêmico. Deste modo, há uma expectativa de que quanto maior for esse índice melhor será sua formação. Portanto, espera-se uma relação positiva entre este indicador e o desempenho discente.

O Quadro 1 apresenta um resumo das relações esperadas entre a desempenho do aluno no ENADE e os indicadores de desempenho propostos pelo TCU.

3 AMOSTRA E METODOLOGIA

3.1 Amostra

Para a realização da pesquisa utilizou-se dados de indicadores de gestão das IFES, referentes aos anos 2006, 2007 e 2008, obtidos na SESu/MEC. Os dados referentes ao desempenho discente no ENADE, para o mesmo período, foram coletados na base de dados do INEP. Por estar o ENADE dividido em grandes áreas que são reavaliadas trienalmente, este trabalho realizou uma análise trienal, a fim de evitar a exclusão de instituições que tenham cursos somente em algumas áreas específicas.

Em 2008, último ano de análise deste estudo, havia 55 IFES em pleno funcionamento. Foram mantidas na amostra aquelas que tiveram conceitos ENADE ao longo do período, ficando a amostra composta por 52 instituições, o que representa 94,5% do universo de IFES existentes em 2008. Foram excluídas as seguintes instituições: Universidade Federal do ABC (UFABC), Universidade Federal do Pampa (UNIPAMPA) e Universidade Federal do Vale do São Francisco (UNIVASF).

Ambos os conceitos, ENADE e IDD, são usados como aproximação para desempenho discente por questões de análise de sensibilidade. O tamanho (TAM), aproximado pelo número aluno equivalente foi utilizado como variável adicional de controle, como feito por Freire, Crisóstomo e Castro (2008).

A tabela 1 apresenta estatísticas descritivas das variáveis analisadas. O custo corrente por aluno equivalente (IND-1) é um dos dados a ser destacado. O valor médio é de aproximadamente R$ 11.000,00, ao verificar os três anos em análise percebe-se que este indicador está crescendo, mas ao trazer a valores presentes observa-se que é um crescimento insignificante.

Outro ponto a ser destacado é a relação de aluno em tempo integral por professor equivalente que está com uma relação média de 12,16. O Decreto 6.096, de 24 de abril de 2007, que instituiu o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), estabelece como meta a relação de alunos por professor alcance a marca de 18. Logo, as IFES nos anos analisados estão na média contemplando esta meta, apesar de haver instituições no limiar estipulado.

Ao fazer uma análise estratificada pelas 5 regiões do país, percebe-se que na média as instituições da região norte são menores. Por sua vez, a região sul é a que apresenta o menor custo corrente por aluno equivalente. Já o grau de participação estudantil é menor no nordeste (0,74) destoando das regiões sudeste e centro-oeste com 0,9.

A região Sul se destaca no indicador referente ao grau de envolvimento com a pós-graduação (0,5) e antagonicamente a região norte apresenta o pior desempenho com 0,04. O mesmo ocorre com o conceito CAPES (IND-7) para qual a região norte apresentou o pior desempenho ficando o melhor com a região sul, estando as demais regiões com este índice bem próximo. Este aparente mau desempenho da pós-graduação na região norte em relação às demais pode justificar-se pelo fato desta região não possuir, ainda, tradição nesse nível educacional.

No que diz respeito à qualificação do corpo docente, as instituições das regiões Sudeste e Sul apresentaram um melhor desempenho. O mesmo foi constatado com a taxa de sucesso na graduação.

Com relação aos dados do ENADE a instituição que teve mais cursos avaliados durante os três anos analisados foi a Universidade Federal do Pará (UFPA) com 78 cursos avaliados pelo conceito ENADE e 54 pelo conceito IDD, cabe destacar que a contagem não reflete o número exato de cursos da instituição, já que se contabiliza, por exemplo, o curso de matemática na cidade X e na cidadeYcomo cursos distintos, pois os conceitos são divulgados separadamente.

A região com o maior número de cursos avaliados pelo conceito ENADE foi a Sudeste com um total de 392 cursos e o mesmo ocorreu com o conceito IDD totalizando 346 cursos.

3.2 Metodologia

Além da análise descritiva dos dados, apresentada anteriormente, para a verificação das hipóteses propostas, os modelos das equações (1) e (2) foram estimados por regressão com dados em painel que controla efeitos temporais e específicos das instituições (GUJARATI, 2006). A importância de tratamento quantitativo e estatístico de dados de avaliação de ensino superior, como feito neste trabalho, é destacada na literatura (COSTA; RAMOS; SOUZA, 2010; BIGGERI; BINI, 2001; WOODHOUSE; GOLDSTEIN, 1988).

Foram estimados modelos para cada indicador – variáveis independentes –, e para cada uma das duas variáveis dependentes – Conceito ENADE e Conceito IDD, conforme as equações (1) e (2) a seguir:

Nestes modelos, α representa a constante, o Indicator_i,t representa cada indicador da IFES i no período t. TAM_i,t é a aproximação para o tamanho da IFES i no tempo t, aproximado pelo número aluno equivalente, e µ_i,t representa o fator de erro aleatório que possui a função de controlar o erro na medição das variáveis bem como a omissão de alguma variável explicativa relevante que não tenha sido utilizada.

As regressões foram calculadas por meio do software estatístico Eviews® utilizando dados em painel pooled regression, e a matriz de covariância utilizada foi a de White para evitar heterocedasticidade nos modelos.

4 ANÁLISE DE RESULTADOS

A tabela 2 apresenta os resultados encontrados nos modelos da regressão tendo como variável dependente o conceito ENADE dos cursos avaliados no triênio 2006, 2007 e 2008. São apresentados nessa ordem: o coeficiente, a estatística-t e o valor-p, para o intercepto, para as variáveis independentes e para a variável de controle e por fim o R² ajustado de cada modelo.

Dentre os 12 modelos analisados observou-se que há correlação entre as variáveis independentes e a variável dependente – conceito ENADE. No entanto, o impacto encontrado em alguns casos foi divergente das relações esperadas teoricamente como proposto nas hipóteses de pesquisa.

Um resultado que merece destaque é efeito positivo do custo corrente/ aluno equivalente (modelos 1 e 2; IND-1) sobre o desempenho discente como previsto teoricamente. A expectativa é que, à medida que uma instituição faz mais investimentos no apoio ao ensino, o discente terá um melhor desempenho.

Esperava-se uma relação inversa entre o conceito ENADE e os indicadores Aluno tempo integral / número de professores equivalentes (IND-2), Aluno tempo integral / número de funcionários equivalentes (IND-3.1 e IND-3.2) e Funcionário equivalente / número de professores equivalentes (IND-4.1 e IND-4.2). Entretanto, constatou-se uma relação positiva entre estes e o conceito ENADE. Estes índices mensuram quantitativamente o apoio que é dado aos alunos tanto por parte do corpo técnico quanto pelos docentes. Uma possível explicação para essa diferença entre o que foi observado e o que era esperado teoricamente pode ser resultado do REUNI. O governo está investindo em infra-estrutura para as IFES, contratando professores e funcionários, além de ampliar a capacidade física dessas instituições, e como contrapartida as IFES devem aumentar o número de vagas. No entanto, a contratação de docentes e funcionários e a melhoria da estrutura física não acompanharam a evolução do número de vagas o que pode interferir na relação de impacto desses indicadores no conceito ENADE, prejudicando, assim, a análise.

Como previsto, o IND-5 (Grau de Participação Estudantil) apresentou influência positiva sobre o desempenho discente. O mesmo ocorre com o conceito da pós-graduação (IND-7). Isto significa que, de fato cursos de pós-graduação de melhor qualidade geram um efeito positivo na formação em nível de graduação. O Índice de Qualificação do Corpo Docente (IND-8), de acordo com a hipótese proposta, apresentou-se como fator que beneficia a qualificação de graduandos.

O indicador IND-6 (grau de envolvimento com a pós-graduação), ao contrário do esperado teoricamente, apresentou uma relação inversa (negativa) com o desempenho discente. Este resultado pode ser reflexo da estrutura de cálculo deste indicador que pode não representar fielmente o envolvimento dos discentes com a pós-graduação, pois é obtido pela simples razão entre o total de alunos na pós-graduação pela soma dos alunos da pós-graduação com os da graduação. Esse indicador representa apenas o número de alunos de pósgraduação em relação ao todo.

A tabela 3 apresenta os resultados encontrados nos modelos que têm como variável dependente o conceito IDD para análise de sensibilidade dos resultados. Os resultados das estimações foram qualitativamente os mesmos dos modelos que tinham o ENADE como variável dependente (Tabela 2). O único indicador de gestão que não teve resultado similar ao apresentado na tabela 2 foi o indicador referente ao grau de envolvimento com a pós-graduação (IND-6). Para este não foi detectado efeito dele sobre o desempenho discente medido pelo IDD.

5 CONSIDERAÇÕES FINAIS

O atual Sistema Nacional deAvaliação da Educação Superior (SINAES – Lei 10.861/2004) estabeleceu três pilares de avaliação de universidades: avaliação institucional; avaliação de cursos e; avaliação do desempenho de estudantes. Atualmente, se conta com um sistema de indicadores de gestão mantidos pelo TCU que podem dar suporte ao processo de avaliação institucional. Em paralelo, o atual Exame Nacional de Desempenho dos Estudantes (ENADE) também pode dar suporte ao processo de avaliação de desempenho discente. Em 2008, dois novos indicadores (Conceito Preliminar de Curso, e Índice Geral de Cursos da Instituição de Educação Superior) foram criados com a intenção de permitir uma melhor avaliação de cursos.

A avaliação das Instituições Federais de Ensino Superior (IFES) por meio de indicadores de gestão como os propostos pelo Tribunal de Contas da União tem o objetivo de propiciar à administração pública uma métrica adicional para análise de eficiência de IFES. Por sua vez, o desempenho discente medido pelo ENADE pretende demonstrar o nível de conhecimento que é agregado aos alunos de graduação durante o curso.

Este trabalho, então, se propôs a analisar os possíveis efeitos da gestão de IFES sobre o desempenho discente de seus egressos. Para tanto utilizou-se uma amostra de 52 IFES no período de 2006 a 2008.

Com base nos resultados encontrados, robustos à utilização de duas aproximações para o desempenho discente, verificou-se que o custo por aluno, de fato, tem efeito positivo sobre o desempenho discente. Resultados importantes também foram encontrados para um efeito positivo na formação em nível de graduação para grau de participação estudantil, o conceito dos cursos de pós graduação e o índice de qualificação do corpo docente.

Por outro lado, a maior proporção de professores e funcionários com relação ao contingente discente não apresentou o resultado positivo esperado. Uma possível explicação para isto pode ser a ampliação do ensino superior nas IFES em função do REUNI que promoveu aumento do número de vagas, talvez de forma mais acelerada que a adaptação das instituições, em termos de incremento do quadro de docentes e técnicos, bem como a ampliação da estrutura física.

Por fim, consideramos que os resultados encontrados contribuem para a literatura sobre gestão e avaliação universitária, notadamente sobre instituições públicas de ensino superior. Foi trabalhado um elenco de indicadores de gestão de IFES atualmente em uso no Brasil, bem como a avaliação discente ora em curso.

Recebido: out. 2010

Aprovado: mar. 2011

• ALONSO, Marcos. Custos no serviço público. Revista do Serviço Público, Brasília, v. 50, n. 1, p. 37-62, jan-mar, 1999.
• BERTOLIN, Júlio C. G.. Indicadores em nível de sistema para avaliar o desenvolvimento e a qualidade da educação superior brasileira. Avaliação, Campinas; Sorocaba, SP, v. 12, n. 2, p. 309-331, jun. 2007.
• _______. Avaliação da educação superior brasileira: relevância, diversidade, equidade e eficácia do sistema em tempos de mercantilização. Avaliação, Campinas; Sorocaba, SP, v. 14, n. 2, p. 267-290, jul. 2009.
• BIGGERI , Luigi; BINI , Matilde. Evaluation at university and state level in Italy: need for a system of evaluation and indicators. Tertiary Education and Management, Países Baixos, v. 7, p. 149162, 2001
• BRASIL. Decreto nº 6.096, de 24 de abril de 2007.
• _______. Decreto nº 5.773, de 9 de maio de 2006.
• _______. Decreto nº 3.860, de 9 de julho de 2001.
• _______. Decreto nº 2.306 , de 19 de agosto de 1997.
• _______. Decreto nº 91.117, de 13 de março de 1985.
• _______. Decreto nº 92.200, de 23 de dezembro de 1985.
• _______. Decreto nº 62.937, de 02 de julho de 1968.
• _______. Lei 10.861, de 14 de abril de 2004.
• _______. Lei nº 9.394, de 20 de dezembro de 1996.
• _______. Lei nº 10.172, de 9 de janeiro de 2001.
• _______. Lei nº 9.131, de 24 de novembro de 1995.
• _______. Lei nº 5.540, de 28 de novembro de 1968.
• _______. Portaria MEC nº 1.465, de 12 de julho de 2001.
• BRASIL. Tribunal de Contas da União - TCU; Secretaria de Educação Superior – SESu/MEC; Secretaria Federal de Controle Interno – SFC. Orientações para o cálculo dos indicadores de gestão: decisão TCU nº 408/2002 – plenário. Versão revisada em janeiro de 2010.
• CAMACHO, Nelson Antônio Pereira. O custo do aluno universitário: subsídios para uma sistemática de avaliação da Unicamp. São Paulo: Unicamp, 1993.
• CHARON, Antoinette; WAUTERS, Jean-Pierre. University ranking: a new tool for the evaluation of higher education in Europe. Nephrol Dial Transplant, Oxford, v. 23, p. 6264, 2008.
• COSTA, Edward Martins; RAMOS, Francisco de Sousa; SOUZA, Hermíno Ramos de. Mensuração de eficiência produtiva das instituições federais de ensino superior IFES. XV Prêmio do Tesouro Nacional (2ş lugar), 2010.
• DIAS SOBRINHO, José. Avaliação: políticas educacionais e reformas da educação superior. São Paulo: Cortez, 2003.
• _______. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, SP. v. 13, n. 3, p. 817-825, nov. 2008.
• _______. Avaliação e transformações da educação superior brasileira (19952009): do Provão ao SINAES. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p. 195-224, 2010.
• DUNDAR, Halil; LEWIS, Darrell. Equity, quality and efficiency effects of reform in Turkish. Higher Education Policy, Paris, v. 12, p. 343-366, 1999.
• FÁVERO, Maria de Lourdes de Albuquerque. A Universidade no Brasil: das origens à Reforma Universitária de 1968. Educar, Curitiba, n. 28, p. 17-36, 2006.
• FERNANDES, José Lúcio Tozetti. Indicadores para a avaliação da gestão das universidades federais brasileiras: um estudo da influência dos gastos sobre a qualidade das atividades acadêmicas do período 1998-2006. 2009. 117 p. Dissertação (Mestrado). Universidade de Brasília, Brasília, 2009.
• FREIRE, Fátima de Souza; CRISÓSTOMO, Vicente Lima; CASTRO, Juscelino Emanoel Gomes de. Análise do desempenho acadêmico e indicadores de gestão das IFES. Revista Produção Online, Florianópolis, v. 7, n. 4, p. 5-25, jul. 2008.
• GAETANI, Francisco; SCHWARTZMAN, Jacques. Indicadores de produtividade nas universidades federais São Paulo: NUPES, 1991.
• GUJARATI, Damodar. Econometria básica Tradução de Maria José Cyhlar. Rio de Janeiro: Elsevier, 2006.
• GURGEL, Carmesina Ribeiro. Análise do Exame Nacional de Desempenho dos Estudantes após o primeiro ciclo avaliativo das áreas de agrárias, saúde e serviço social do Estado do Piauí. Ensaio: avaliação de políticas públicas educacionais, Rio de Janeiro, v. 18, n. 66, p. 85-104, jan./mar., 2010.
• INEP - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Enade - perguntas frequentes. Disponível em: <http://www.inep.gov.br/superior/enade/perguntas_ frequentes.htm> Acesso em: 16 mai. 2010.
• MORGAN, Beatriz Fátima. A determinação do custo do ensino na educação superior: o caso da Universidade de Brasília. 2004. 161 p. Dissertação (Mestrado). Universidade de Brasília, Brasília, 2004.
• NAVARRA. Sistema de indicadores de la educación de Navarra 2003 Navarra/Espanha: Gobierno de Navarra, 2004.
• NEAVE , Guy. The evaluative state reconsidered. European Journal of Education, Paris, v. 33, n. 3, 1998.
• _______. On the cultivation of quality, efficiency and enterprise: an overview of recent trends in higher education in Western Europe, 1986-1988. European Journal of Education, Paris, v. 23, n. 1/2, 1988.
• POLIDORI, Marlis Morosini. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação, Campinas; Sorocaba, SP. v. 14, n. 2, p. 267-290, jul. 2009.
• REINERT, Clio. Metodologias para apresentação de custos nas IFES Brasileiras 2005. 91 p. Dissertação (Mestrado). Universidade Federal de Santa Catarina, Florianópolis, 2005.
• RISTOFF, Dilvo Ilvo; GIOLO, Jaime. O SINAES como sistema. RBPG. Revista Brasileira de Pós-Graduação, Brasília, v. 3, p. 193-213, 2006.
• SARRICO, Cláudia S. ; DYSON, R.G. ; ATHANASSOPOULOS, A. D. Data envelopment analysis and university selection. Journal of the Operational Research Society, Birmingham, v. 48, p. 1163-1177, 1997.
• SILVA, César Augusto Tibúrcio et al. Custos no setor público Brasília: UnB, 2007.
• SOUZA, Irineu Manoel de. Gestão das universidades federais brasileiras: uma abordagem fundamentada na gestão do conhecimento. 2009. 399 p. Tese (Doutorado). Universidade Federal de Santa Catarina, Florianópolis, 2009.
• WOLYNEC, Elisa. O uso de indicadores de desempenho para a avaliação institucional São Paulo: NUPES, 1990.
• WORLD BANK. Higher education: The lessons of experience. New York: Oxford University Press, 1994.
• YONEZAWA, Akiyoshi. Quality assessment and assurance in japanese universities: the plight of the social sciences. Social Science Japan Journal, Tóquio, v. 11, n. 1, p. 6982, 2008.
• WOODHOUSE, Geoffrey; GOLDSTEIN, Harvey. Educational performance indicators and LEA League Tables. Oxford Review of Education, Oxford, v. 14, n. 3, 1988.
• ZANDAVALLI, Carla Busato. Avaliação da educação superior no Brasil: os antecedentes históricos do SINAES. Avaliação, Campinas; Sorocaba, SP. v. 14, n. 2, p. 267-290, jul. 2009.

Datas de Publicação

• Publicação nesta coleção
  28 Jun 2011
• Data do Fascículo
  Jul 2011

Histórico

• Recebido
  Out 2010
• Aceito
  Mar 2011