Acessibilidade / Reportar erro

Avaliação institucional no ensino superior: construção de escalas para discentes e docentes

Institutional evaluation in higher education: construction of the scales for the university students and professors

Resumos

O objetivo deste estudo é descrever o processo de construção de um instrumento de avaliação para mensurar a autopercepção de discentes, docentes e funcionários acerca dos vários aspectos da rotina acadêmica de uma Instituição de Ensino Superior. Na etapa inicial, elaborou-se um instrumento-piloto, sob a forma de escala Likert de cinco pontos, com base nas dimensões indicadas pelo Sistema Nacional de Avaliação da Educação Superior. Estudos psicométricos de análise fatorial e precisão evidenciaram diferenças nos pontos de vista de discentes, docentes e funcionários. Agrupados em três bancos de dados, os protocolos passaram por novas análises que resultaram em duas escalas consistentes para docentes e discentes, como se percebe pela boa configuração e interpretação dos fatores. A impossibilidade de se finalizar uma escala para os funcionários demonstrou a existência de falha na construção dos itens para esse segmento e sugeriu novos procedimentos.

Análise fatorial; Psicometria; Universitários; Docentes


This study aims to describe the construction process of an evaluation instrument to measure the self-perception of students, professors and employees, under several aspects of the academic routine of a university. The starting-point was a pilot instrument, with a five-point Likert scale, based on the suitable dimensions for the National System of Evaluation of the Higher Education. Psychometric studies of factor analysis and precision instrument pointed to differences concerning the students', the professors' and the employees' points of view. The data was then divided into three databanks and went through new analysis, which resulted in two consistent scales for professors and students, as the coherence and consistency of the study and the proper interpretation of the factors show. The impossibility of creating an employees' scale showed a failure in the construction of the items and required new procedures.

Factor analysis; Psychometry; Undergraduate students; Professors


ARTIGOS

Avaliação institucional no ensino superior: construção de escalas para discentes e docentes 1 1 Os nossos agradecimentos à equipe de profissionais que, juntamente conosco, compuseram o Núcleo de Avaliação Institucional (NAI) durante os dois anos em que se realizaram as pesquisas.

Institutional evaluation in higher education: construction of the scales for the university students and professors

Marcos Antonio BatistaI; Maria de Fátima Freitas de PaulaII; Maria Ignez Arantes OliveiraIII; Emanuel Eustáquio AlmeidaIV

IDoutor em Psicologia pela Universidade São Francisco de Itatiba, área de Construção e Validação de Testes. Docente nos cursos de graduação de Psicologia e Mestrado em Saúde Coletiva da Universidade do Vale do Sapucaí – Univás, Pouso Alegre, MG, Brasil. Psicólogo coordenador do Laboratório de Avaliação Psicológica da Univás. E-mail: marcosantoniobatista@yahoo.com.br

IIMestre em Linguística pela Universidade Federal de Minas Gerais. Docente do Departamento de Letras da Universidade do Vale do Sapucaí – Univás, Pouso Alegre, MG, Brasil. E-mail: fátima.freitas_paula@ig.com.br

IIIMestre em Ciências da Educação pela Universidade Brás Cubas, Mogi das Cruzes, SP. Docente do Departamento de Educação da Universidade do Vale do Sapucaí – Univás, Pouso Alegre, MG, Brasil. E-mail: marignez@yahoo.com.br

IVMestre em Ciências Farmacêuticas pela Universidade São Francisco, Bragança Paulista, SP, área de Insumos e Medicamentos. Docente no Departamento de Ciências Biológicas da Universidade do Vale do Sapucaí – Univás, Pouso Alegre, MG, Brasil. E-mail: emadani@uai.com.br

RESUMO

O objetivo deste estudo é descrever o processo de construção de um instrumento de avaliação para mensurar a autopercepção de discentes, docentes e funcionários acerca dos vários aspectos da rotina acadêmica de uma Instituição de Ensino Superior. Na etapa inicial, elaborou-se um instrumento-piloto, sob a forma de escala Likert de cinco pontos, com base nas dimensões indicadas pelo Sistema Nacional de Avaliação da Educação Superior. Estudos psicométricos de análise fatorial e precisão evidenciaram diferenças nos pontos de vista de discentes, docentes e funcionários. Agrupados em três bancos de dados, os protocolos passaram por novas análises que resultaram em duas escalas consistentes para docentes e discentes, como se percebe pela boa configuração e interpretação dos fatores. A impossibilidade de se finalizar uma escala para os funcionários demonstrou a existência de falha na construção dos itens para esse segmento e sugeriu novos procedimentos.

Palavras-chave: Análise fatorial. Psicometria. Universitários. Docentes.

ABSTRACT

This study aims to describe the construction process of an evaluation instrument to measure the self-perception of students, professors and employees, under several aspects of the academic routine of a university. The starting-point was a pilot instrument, with a five-point Likert scale, based on the suitable dimensions for the National System of Evaluation of the Higher Education. Psychometric studies of factor analysis and precision instrument pointed to differences concerning the students', the professors' and the employees' points of view. The data was then divided into three databanks and went through new analysis, which resulted in two consistent scales for professors and students, as the coherence and consistency of the study and the proper interpretation of the factors show. The impossibility of creating an employees' scale showed a failure in the construction of the items and required new procedures.

Key words: Factor analysis. Psychometry. Undergraduate students. Professors.

INTRODUÇÃO

A avaliação é uma atividade corriqueira na vida humana. Sua onipresença manifesta-se nas relações interpessoais e profissionais e permite revisões constantes de comportamentos, atuações e condutas. De maneira restrita, seu sentido foi historicamente construído nos espaços escolares como instrumento de medição, direcionado para resultados. Ainda hoje, essa forma de avaliação é uma constante nas salas de aula e marca momentos decisivos do tempo institucional por meio dos rituais das provas e exames.

No entanto, a complexidade da organização social vigente, caracterizada pela incerteza, pelo reconhecimento do caráter instável do conhecimento e pelas discussões acerca da legitimidade dos paradigmas vigentes – marcas da Pós-Modernidade (POURTOIS; DESMET, 1999) -, impõe um redimensionamento do sentido de avaliação cristalizado no âmbito das intuições educacionais. As pressões vêm de duas direções: de um lado, o mercado provoca tensões concernentes aos objetivos e à constituição dessas intuições; de outro, as políticas educacionais do Estado criam mecanismos para que as autoavaliações institucionais sejam instrumentos de gestão.

O modelo produtivo em vigor na sociedade e as novas configurações do trabalho orientam as instituições, em especial as de ensino superior, a prepararem os indivíduos para o mercado de trabalho. Essa preparação consiste em propiciar o desenvolvimento de novas competências: criar, pensar, propor soluções, conviver em equipe. Isso não significa tão-somente que as instituições devam privilegiar o sentido prático e utilitarista da capacitação profissional, mas encontrar espaço para lidar com a função primordial da educação: a de cidadania.

Conforme salienta Dias Sobrinho (2001, p. 9), "A humanidade se desenvolve sobretudo através de práticas históricas concretas, não simplesmente mediante belos ideais". As ações em prol de questões de naturezas diversas são urgentes e exigem atuação de pessoas que utilizem suas aptidões, seus conhecimentos, competências e habilidades nos contextos de trabalho, cultura e situações da vida em geral.

Esse novo cenário gera uma crescente demanda para que as Instituições de Ensino Superior (IES) prestem contas da qualidade de ensino que vêm oferecendo à sociedade. Para viabilizar o processo de criação instrumentos de avaliação, a partir da década de 1990, o Ministério de Educação e Cultura (MEC) vem desenvolvendo suporte teórico-metodológico. Em 2004, o Sistema Nacional de Avaliação da Educação Superior (SINAES) propôs diretrizes voltadas à pluralidade de aspectos relativos ao universo acadêmico, possibilitando às Instituições construírem instrumentos de avaliação que detectassem as fragilidades e as potencialidades institucionais para a melhoria da qualidade da oferta educacional em todos os sentidos (Lei 10.861/2004).

Sob essa perspectiva, avalia-se uma instituição de ensino para, conforme propõe Dias Sobrinho (1997, p. 73), "compreender as suas finalidades, os projetos, a missão, o clima, as pessoas, as relações sociais, a dinâmica dos trabalhos, a disposição em geral, os grupos dominantes e as minorias, os anseios, os conflitos, os valores, as crenças, os princípios, a cultura". Assim entendida, a avaliação não constitui um mecanismo de controle, mas um lócus para a elaboração de diagnósticos que possibilitem a análise do desempenho global da Instituição no que tange aos objetivos e fatores relacionados aos aspectos social, econômico, político, cultural e ético. Assim, fornece subsídios para a melhoria e aperfeiçoamento da qualidade e fortalecimento da Instituição.

No entanto, a construção de instrumentos que contemplem a complexidade desse processo ainda é bastante restrita. Schleich, Polydoro e Santos (2006) enfatizam a escassez de instrumentos de avaliação institucional e reforçam a necessidade e a relevância de mais pesquisas nesta área e com outras variáveis relacionadas, como também fazem menção à amplitude da amostra.

Dentre os trabalhos com tal finalidade, merece destaque a publicação de Reis, Silveira e Ferreira (2010) que analisa os resultados da autoavaliação em uma Instituição Federal de Ensino Superior, envolvendo discentes, docentes e funcionários administrativos para verificar a percepção – positiva ou negativa – dos envolvidos acerca da Instituição.

Apresentando pontos de contato com o trabalho acima, quanto à escolha da população e o método, o presente estudo amplia seu escopo. Tem como objetivo descrever o processo de construção de um instrumento de avaliação, com base nas dimensões indicadas pelo Sistema Nacional de Avaliação da Educação Superior (SINAES, 2004), para mensurar a autopercepção de discentes, docentes e funcionários acerca dos vários aspectos da rotina de uma Universidade do Sul de Minas Gerais. De maneira mais específica, propõe caminhos para a elaboração de escalas que atendam às especificidades dos setores que compõem esse universo. Assim, possibilita o conhecimento da realidade da Instituição por meio das vozes daqueles que a constroem nas ações e atividades cotidianas.

BASES PARA UMA CULTURA DA AVALIAÇÃO NO ENSINO SUPERIOR

A avaliação é uma realidade nas instituições de ensino superior do país. Faz-se presente em todas as atividades de ensino, pesquisa e extensão, e mesmo nas práticas administrativas, de uma Universidade.

Conforme Dias Sobrinho (1995), a avaliação é um exercício com forte sentido pedagógico. Permite rediscutir os projetos e prioridades essenciais da universidade, suas relações com a ciência, a tecnologia, as letras e as artes e suas interações com a sociedade.

Avaliar, nesse sentido, não é apenas um mero alinhamento de produtos e um simples somatório de serviços, mas a construção do saber, resguardados os princípios, as especificidades e as culturas de cada área (AFONSO, 2000; BELLONI; BELLONI, 2003; RISTOFF, 1995). Constitui, pois, uma sistemática que pretende ultrapassar amplamente as avaliações pontuais e corriqueiras da vida escolar. Para Dias Sobrinho (1995), ela deve ter como meta um questionamento rigoroso e metódico de todas as atividades da universidade, seus fins e seus meios – ensino, pesquisa e extensão –, bem como gestão, infra-estrutura e condições gerais de trabalho.

Desse modo, a avaliação é uma ação organizada que requer participação ampla e assumida dos agentes de todos os segmentos da instituição: em seu processo interno, de pares da comunidade acadêmico-científica e externo, de representantes de setores organizados da sociedade. Segundo Cunha (2003), nesse modelo de avaliação seriam levados em conta, especialmente, o número de estudantes formados, as pesquisas realizadas e os serviços prestados.

Tais discussões, acerca de conceitos e parâmetros sobre a avaliação, ganharam ênfase em virtude da proposta de Reforma Universitária que começou a ser construída a partir de experiências desenvolvidas e experimentadas em meados da década de 1980 em algumas instituições de educação superior. Na década de 90, mais precisamente no biênio 93-94, foi instituído o Programa de Avaliação Institucional das Universidades Brasileiras – PAIUB, tendo como objetivo "[...] rever e aperfeiçoar o projeto acadêmico e sócio-político da instituição, promovendo a permanente melhoria da qualidade e pertinência das atividades" (MEC/SESU, 1994, p. 13).

A grande contribuição dessa primeira iniciativa, em termos de avaliação institucional, foi a ênfase na necessidade de se elevar a qualidade das atividades acadêmicas (ensino, pesquisa e extensão), e também de se criarem processos e procedimentos avaliativos conduzidos pelas próprias instituições de ensino superior. No entanto, em virtude de seu caráter voluntário e não-punitivo, essa política de avaliação teve baixo índice de adesão, atingindo, mais especificamente, o universo das universidades federais e públicas brasileiras.

Em 1995, através da Lei n.º 9.131, novas diretrizes foram propostas para as políticas gerais do Ministério de Educação e Cultura (MEC), no que se refere ao reconhecimento de cursos, à criação de instituições de ensino superior e ao credenciamento de universidades, assim como à avaliação das universidades. A referida lei estabelecia a implantação de "avaliações periódicas das instituições e dos cursos de ensino superior, fazendo uso de procedimentos e critérios abrangentes dos diversos fatores que determinam a qualidade e a eficiência das atividades de ensino, pesquisa e extensão" ( Lei 9131/95, Art. 3º).

No ano seguinte, o Decreto n.º 2.026, de outubro de 1996, instituiu a avaliação dos cursos e das instituições de ensino superior através de uma comissão que procedesse à análise, dentre outros, dos seguintes aspectos: a eficiência das atividades em relação aos objetivos da instituição; a adequação dos currículos dos cursos de graduação; a inserção da instituição na comunidade local e regional; e a produção científica, cultural e tecnológica. Essa comissão deveria levar em conta também a autoavaliação da instituição e, ainda, a avaliação das condições de oferta dos cursos de graduação, considerando a organização didático-pedagógica, a adequação das instalações físicas em geral, a adequação das instalações especiais, como laboratórios e bibliotecas, e a qualificação do corpo docente (CUNHA, 2003). A partir da vigência da nova Lei de Diretrizes e Bases n.º 9.394/96, as avaliações institucionais passaram a ter caráter nacional: os cursos passaram a ser avaliados in loco e por meio do rendimento dos estudantes no Exame Nacional de Cursos – ENC, que teve como objetivo "[...] aferir os conhecimentos e competências adquiridos pelos alunos em fase de conclusão dos cursos de graduação" (Lei n.º 9.131, art. 3º, inciso 1). A implantação desse modelo permitiu ao MEC não apenas um acompanhamento global do ensino superior, mas também do desempenho individual das instituições e da avaliação do ensino de graduação por curso.

Esse sistema de avaliação vigorou até 2002. No ano seguinte, em virtude de mudanças no governo federal (a passagem do governo de Fernando Henrique Cardoso para o de Luís Inácio Lula da Silva), houve suspensão temporária das práticas avaliativas vigentes para se proceder a uma análise dos rumos da Educação Superior. Instituiu-se, em abril de 2004, o Sistema Nacional de Avaliação da Educação Superior – SINAES, órgão responsável pela condução da política de Reforma Universitária (SEGENREICH, 2005). Nessa nova fase, mantiveram-se e/ou reformularam-se alguns critérios de modelos anteriores, relativos à Avaliação dos Cursos de Graduação e ao Exame Nacional de Desempenho de Estudantes. A ênfase, entretanto, recaiu sobre a implantação de um processo de autoavaliação – interno, sério e transparente – como fórmula mais adequada de prestação de contas à sociedade.

Com esse propósito, a lei 10.861/2004 instituiu as bases norteadoras dos processos avaliativos na Educação Superior, por meio de dez dimensões que sintetizam os vários aspectos relacionados à vida acadêmica: alguns mais específicos voltados para as questões de ensino, pesquisa e extensão e outros mais amplos, relacionados às questões de natureza administrativa. Não se trata de um modelo impositivo, mas uma proposta que permite flexibilidade e liberdade às instituições para criarem seus sistemas de autoavaliação.

Sob essa orientação, organizou-se o estudo aqui apresentado. Para a criação de uma política de autoavaliação, o Órgão Diretivo da Instituição de uma IES do Sul de Minas Gerais designou uma comissão composta por representantes da comunidade externa, do corpo técnico-administrativo, do corpo docente e discente: a Comissão Própria de Avaliação – CPA. A essa comissão coube a coordenação e articulação do processo de avaliação interna e a prestação de informações à Comissão Nacional de Avaliação da Educação Superior – CONAES.

Vinculado a essa comissão, foi criado o Núcleo de Avaliação Institucional – NAI, constituído por um professor representante de cada área do conhecimento definida pelo Conselho Nacional de Pesquisa – CNPq: áreas de Ciências Biológicas, de Ciências Médicas, de Ciências Exatas e da Terra; de Ciências Humanas; de Ciências Sociais Aplicadas; de Linguística, Letras e Artes. E, ainda, por um membro do corpo técnico administrativo e um representante do corpo discente. Coube a esse núcleo um papel estratégico no processo avaliativo: elaborar instrumentos sólidos, contínuos e formativos; cuidar da aplicação desses instrumentos e da coordenação de todas as atividades relacionadas à operacionalização da autoavaliação institucional.

Apresenta-se a seguir a descrição e análise do trabalho desenvolvido por esse Núcleo de Avaliação Institucional.

MÉTODO

Atualmente, por meio dos recursos da informática, métodos estatísticos têm facilitado o trabalho com grande carga de informações. Dentre as várias possibilidades, a análise fatorial destaca-se como uma técnica de estatística multivariada bastante ampla, utilizada com frequência nos estudos de avaliação na área de Psicologia ou em estudo que necessite da análise de um grande número de variáveis envolvidas. Utilizando esse método foi possível explicitar, de maneira mais simples e econômica, o relacionamento entre as variáveis por meio de um número de fatores inferior ao número dessas variáveis, de forma a encontrar um menor número de itens que permitissem a avaliação da rotina universitária com base na psicometria.

De acordo com Artes (1998), para uma análise fatorial com qualidade é necessário um tamanho amostral relativamente grande em comparação ao número de variáveis envolvidas, na ordem de 5 a 20 sujeitos por variável. No caso de Instituição de Ensino Superior, caracterizada pela multiplicidade e diversidade no tocante às pessoas envolvidas e questões a elas relacionadas, a escolha do método e o tamanho da amostra podem oferecer resultados com maior grau de validade e fidedignidade. Em vista disso, elegeu-se para o estudo o grupo total dos envolvidos na comunidade universitária.

Participantes

Participaram deste estudo 115 docentes com idades entre 20 e 87 anos, sendo a idade média de 46,30 e desvio padrão 12,53; desse total, 38,37% são do sexo masculino e 61,63% do sexo feminino. Também participaram 2.346 universitários com idade entre 17 e 76 anos, a média esteve em 26,15, com desvio padrão de 8,03. Frequentavam os cursos diurno e noturno, distribuídos por 35,7% do sexo masculino e 64,3% do sexo feminino. Ainda na primeira etapa 105 funcionários administrativos responderam ao instrumento-piloto. Todavia, esses protocolos foram descartados por apresentarem muitas questões sem respostas e, após a análise fatorial exploratória, por não apresentarem consistência na estrutura fatorial.

Cabe salientar que tal instrumento piloto foi criado pensando-se na universidade como uma tríade, docente-discente-funcionário administrativo. Talvez isso explique a discrepância nas respostas ao instrumento por parte do funcionário administrativo. Achou-se por bem construírem-se, no futuro, novos itens e uma escala específica para esses funcionários. Em virtude disso, tal escala deixou de constituir objeto deste estudo.

Os discentes tiveram a seguinte distribuição por curso: 1,9% - Administração de Empresa; 2,9% - Administração Hospitalar; 5,6% - Ciências Biológicas; 6,1% - Ciências Contábeis; 4,6% - Comércio Exterior, 4,6% - Educação Física; 5,5% - Enfermagem; 6,4% - Farmácia; 4,7% - Fisioterapia; 2,2% - Gestão de Negócios; 2,9% - História, 2,8% - Jornalismo, 3,7% - Letras; 4,1% - Matemática; 8,6% - Medicina; 4,9% - Normal Superior; 5,1% - Nutrição; 3,6% - Pedagogia; 5,2% - Psicologia; 4,0% Publicidade e Propaganda; 4,4% - Sistema de Informação e 3,5% - Turismo.

Instrumento

Levando-se em conta a necessidade de uma visão mais ampla da autopercepção quanto ao funcionamento da vida universitária, decidiu-se por um questionário (instrumento-piloto) de caráter genérico, proposto a todos os membros nela envolvidos. Esse instrumento-piloto constou de 70 itens, que abordaram indicadores definidos a partir das dez dimensões previstas no artigo 3.º da lei 10.861/2004, a saber: i) a missão e o Plano de Desenvolvimento Institucional; ii)a política para o ensino, a pesquisa, a extensão e as respectivas formas de operacionalização; iii) a responsabilidade social da instituição;iv) a comunicação com a sociedade; v)as políticas de pessoal, de carreiras do corpo docente e corpo técnico administrativo, seu aperfeiçoamento, desenvolvimento profissional e suas condições de trabalho; vi) organização e gestão da instituição; vii) infra-estrutura física; viii) planejamento e avaliação, especialmente dos processos, resultados e eficácia da auto-avaliação institucional; ix) políticas de atendimento aos estudantes; x) sustentabilidade financeira.

Essas dimensões, ou aspectos institucionais, serviram de base para a elaboração do instrumento, constituído de 70 itens agrupados nas seguintes categorias - proposta pedagógica, infraestrutura, corpo técnico-administrativo, corpo docente, corpo discente, coordenação de curso, direção, pró-reitorias, reitoria e avaliação do processo. Os referidos itens foram respondidos por meio de uma escala tipo likert, com cinco opções de respostas - ótimo, bom, regular, insuficiente ou "não sei" – que permitiram ao participante expressar seu ponto de vista acerca da rotina universitária. Apresentam-se a seguir as referidas categorias na ordem sequencial do instrumento e com informações sobre os dados coletados:

a) Proposta pedagógica - questionou sobre projeto pedagógico, matriz curricular e integração entre aulas teóricas e práticas;

b) Infraestrutura - reuniu itens sobre as condições das instalações físicas como salas de aulas, ambiente de estudo, salão de eventos, áreas de convivência social, área para prática esportiva, recursos audiovisuais, cantina, xérox, laboratórios e, principalmente, a biblioteca;

c) Corpo técnico-administrativo – contemplou questões acerca dos serviços de tesouraria, secretaria e do atendimento de setores como recursos humanos, recursos audiovisuais, biblioteca, xérox e laboratórios;

d) Corpo discente - envolveu a vida acadêmica do aluno, procurando avaliar seu envolvimento na produção acadêmica como um todo, bem como criatividade, iniciativa, atividade extraclasse, relacionamento com colegas e professores e sua representatividade em reuniões em várias instâncias da rotina universitária;

e) Corpo docente - abordou questões como a relação entre docentes e a coordenação, a qualidade das informações prestadas ao aluno, o acompanhamento do projeto pedagógico e as ações entre ensino-pesquisa-extensão;

f) Coordenação de curso – contemplou temáticas como a qualidade da informação prestada ao corpo discente, o acompanhamento psicopedagógico, as mudanças do projeto pedagógico, as medidas adotadas para melhoria da qualidade de ensino do curso e ações articuladas entre ensino-pesquisa-extensão;

g) Direção - envolveu itens como o gerenciamento de informações, capacidade para solução de problemas e relacionamento com as várias instâncias acadêmicas;

h) Pró-reitorias - avaliou a percepção do respondente quanto ao seu relacionamento com as várias pró-reitorias e o seu conhecimento acerca de questões como pesquisa, extensão, incentivo ao desenvolvimento docente, planos de carreira e investimento em infraestrutura;

i) Reitoria - viabilizou questões sobre a comunicação com a comunidade universitária, compromisso com a instituição, responsabilidade social e integração com o sistema educacional brasileiro;

j) Por último, avaliação do processo – objetivou atender à dimensão planejamento e avaliação, especialmente dos processos, resultados e eficácia da autoavaliação institucional sugerida pelo SINAES. As respostas dos participantes possibilitaram um feed back sobre a avaliação institucional que começava a ser construída na instituição.

Procedimento

O processo de avaliação institucional começou em 2005 com a aplicação de um instrumento semestral. Em 2006 o instrumento mudou sua periodicidade para anual conforme estabelecido por relatório enviado ao SINAES. Para o presente estudo o instrumento-piloto foi aplicado pelo NAI, por tratar-se de um grupo de profissionais treinados para essa tarefa. A aplicação ocorreu da seguinte maneira: coletivamente, para os discentes nas respectivas salas de aulas dos cursos; individualmente, para os docentes e funcionários em seus respectivos locais de trabalho.

RESULTADOS

Os dados coletados foram compilados no software SPSS – versão 17,0. Todos os protocolos foram submetidos, a princípio, a uma mesma análise, sem distinção da função desempenhada pelos participantes, pressupondo-se que, em se tratando de uma mesma realidade, não haveria diferenças nos pontos de vista.

Desse modo, procedeu-se a uma análise preliminar dos dados que considerou todos os itens e foi usada uma análise por componentes principais, rotação varimax que, segundo Dancey e Reidy (2006), assegura a cada fator a independência dos demais, retendo os fatores com eigenvalor (autovalor) igual ou superior a 1. Foram identificados 14 fatores que explicaram 66,16% da variância, porém com grande dispersão dos itens. Essa dispersão e a quantidade de fatores dificultaram grandemente as interpretações, o que motivou a realização de novas análises.

Em vista disso, elegeu-se o modo de análises por componentes principais, rotação varimax, impondo-se a extração de dois, três e quatro fatores de acordo com a representação do scree plot, que não se mostrou muito precisa quanto ao melhor número de fatores. Considerando as características do construto em questão, usou-se a saturação 0,30 como critério para excluir os itens que não atingissem esse nível de saturação. A configuração que mostrou melhores condições de interpretabilidade ficou composta de 4 fatores com 56 itens.

Todavia, observou-se, nas estatísticas descritivas dos itens, um alto índice de respostas dos discentes na opção "não sei" para as questões relacionadas à atividade da reitoria e pró-reitoria. E para os protocolos dos funcionários administrativos uma grande quantidade de respostas em branco, o que mostrou certa inconsistência na estrutura fatorial. Esta análise apontou para uma inconsistência do instrumento quando analisados conjuntamente os protocolos dos discentes, docentes e dos funcionários administrativos, suscitando a necessidade de se reestruturar o processo. Assim, aventou-se a hipótese de que o ponto de vista do professor fosse diferente do ponto de vista do aluno. Optou-se, então, por dividir o banco de dados em "discentes" e "docentes" e novos estudos de análise fatorial foram realizados para cada grupo separadamente. Para a escala dos funcionários administrativos, julgou-se mais conveniente construir, no futuro, novos itens e proceder à construção de uma escala específica para este grupo. Em virtude disso, este estudo, a partir deste ponto focou esforços nas escalas dos discentes e docentes.

Instrumento Discente

Realizou-se novo estudo do banco de dados de 2.346 discentes sendo usada uma análise por componentes principais, rotação varimax, retendo os fatores com eigenvalor igual ou superior a 1. Foi imposta a carga fatorial acima de 0,30 para que o item se mantivesse na escala e os itens que carregassem em mais de um fator também fossem eliminados. A escala com melhor configuração e interpretação dos itens ficou caracterizada por 3 fatores, explicando 40,50% da variância total da escala. Essa escala foi submetida a um estudo de fidedignidade por meio de alfa de Cronbach e obteve-se um índice de 0,94, revelando boa consistência entre seus itens. O primeiro fator obteve um índice alfa de 0,89; o segundo fator também obteve 0,89 e o terceiro fator 0,88.

Este instrumento recebeu o nome de Escala Discente - EDISC e os fatores foram interpretados. O primeiro fator "serviços de apoio acadêmico" reuniu 18 itens referentes à biblioteca, infraestrutura e laboratórios. O segundo fator "interação ensino-aprendizagem", reuniu 14 itens envolvendo corpo discente, corpo docente, coordenação de curso e proposta pedagógica. O terceiro fator "serviços técnico-administrativos" se referiu à secretaria e à tesouraria. A Tabela 1, na próxima página, informa a escala discente final com os fatores, seus itens e respectivas saturações.

Instrumento Docente

Uma vez definidos os estudos para o instrumento discente, procedeu-se a uma análise por componentes principais, rotação varimax dos 115 protocolos respondidos pelo corpo docente. Retiveram-se os fatores com eigenvalor igual ou superior a 1. Eliminaram-se os itens com carga fatorial abaixo de 0,30 e aqueles que carregaram em mais de um fator. A melhor configuração para essa escala foi com 3 fatores e explicou 50,41% da variância total.

O estudo de fidedignidade por meio de alfa de Cronbach atingiu o índice de 0,94 para a escala geral, revelando boa consistência entre seus itens. O primeiro fator obteve um índice alfa de 0,95; o segundo fator obteve 0,88 e o terceiro fator, 0,86. Objetivando a melhoria na consistência dos fatores e com base nos índices de fidedignidade fornecidos, dois itens foram eliminados no primeiro fator e dois itens no terceiro fator.

O instrumento recebeu o nome de Escala Docente – EDOC. A análise dos itens do primeiro fator indicou para um "gerenciamento acadêmico" e reuniu 10 itens referentes à comunicação, relacionamento, apoio ao desenvolvimento docente, responsabilidade e compromisso social pela instituição – por parte da reitoria e das pró-reitorias. O segundo fator caracterizou-se como "serviços de apoio pedagógico" e reuniu 14 itens referentes aos setores como biblioteca, infraestrutura geral, laboratórios, recursos humanos e financeiros. O terceiro fator intitulado "profissional docente" e está representado por itens que avaliam a conduta docente nos seguintes aspectos: domínio da disciplina, pontualidade, controle da sala de aula, assiduidade, titulação, cumprimento do plano proposto e relacionamento com a coordenação. Na Tabela 2, na página seguinte, apresenta-se a escala docente final, seus fatores, itens e respectivas saturações.

DISCUSSÃO

A decisão acerca da construção de um instrumento encontra apoio na proposta de Urbina (2007). Segundo a autora, a iniciativa de construir um novo instrumento se justifica para situações nas quais não existem testes voltados para determinado fim específico. No intuito de buscar alternativas para o estudo da avaliação institucional, procurou-se, inicialmente, criar um instrumento único que abrangesse a totalidade ou que constituísse uma boa representação da vida universitária. Para isso trabalhou-se com várias fontes informativas, visando conhecer o ponto de vista do funcionário, do corpo discente e do corpo docente. Atentou-se para a ideia defendida por Souza (2002, p. 31): "o que melhor avalia é aquele diretamente envolvido no processo". Assim, na elaboração dos itens pensou-se em contemplar esses três grupos, entendendo que a unicidade seria o método mais democrático e representativo.

Partindo do ponto de vista de Segenreich (2005) segundo o qual o processo de avaliação de uma universidade deve ser interno, sério e transparente, foram elaborados 70 itens com critérios baseados na proposta do SINAES, na legislação e em outros modelos pesquisados, e que, aparentemente, satisfizessem as expectativas dos envolvidos na rotina da universidade. Este instrumento-piloto com escala tipo likert de cinco pontos foi aplicado coletivamente aos discentes e individualmente aos docentes e aos funcionários.

Após primeira análise estatística e fatorial, perceberam-se diferenças nos pontos de vista do corpo discente, do corpo docente e do corpo administrativo. Os itens, como foram formulados, não contemplaram a vivência desse último segmento, constituído por funcionários que desenvolvem atividades em setores como secretaria, biblioteca e financeiro. Submeteram-se, então, os dados a novas análises fatoriais. Verificou-se que os protocolos do corpo administrativo não se sustentavam enquanto fatores da mesma forma que para os discentes e docentes, e não permitiram interpretação satisfatória, indicando para uma futura retomada do processo e para a criação de um novo instrumento que contemplasse as especificidades desse grupo, o que deixou de ser objeto deste artigo. Tal fato foi importante para a compreensão de que setores específicos, como os recursos de apoio ao bom funcionamento do mundo acadêmico, necessitam de tratamento peculiar quando o assunto é avaliação da instituição tão complexa como a Universidade.

Na mesma direção do ocorrido com os protocolos do corpo administrativo, o presente estudo constatou pequenas variações nos enfoques dos discentes e dos docentes quanto à dinâmica do funcionamento da vida institucional universitária. Esta diferença nos pontos de vista pode ter ocorrido em função da maturidade, uma vez que a média de idade dos professores fixou-se em 46,30, enquanto os discentes tinham em média de 26,15 anos. Outra diferença marcante entre as duas escalas se deve aos itens de cunho mais político como as funções da reitoria e pró-reitorias que representaram o primeiro fator da escala docente e não apareceram na escala discente, assim como o terceiro fator da escala discente ficou composto por itens que de certa forma avaliam a própria competência do docente. Além das diferenças nas idades dos dois grupos, devem-se levar em consideração as posições assumidas por eles, ou seja, o docente é um profissional e tende a cuidar da sua profissão, assim seu olhar está voltado para as variáveis que influenciam diretamente o seu fazer e, por outro lado, o discente se coloca como recebedor de um serviço e fixa seu olhar na qualidade do que recebe.

O que chama atenção, pelo peso fatorial dos itens, na escala discente é a preocupação com a qualidade da prestação dos serviços e a infraestrutura física da biblioteca e dos laboratórios, aspectos representados pelo primeiro fator. Outro ponto marcante diz respeito ao enfoque na articulação do projeto pedagógico, ação da coordenação do curso e o corpo docente. Conforme Souza (2002), as respostas de docentes e discentes aos testes podem apresentar convergências ou divergências, sendo que as convergências apontam para ações institucionais e as divergências suscitam investigação para se compreender sua ocorrência. Desse modo, a construção de instrumentos mais específicos pode viabilizar a Instituição meios para a obtenção de respostas mais sustentadas e significativas.

As escalas finais – discente, com 40 itens e docente, com 36 itens – mostram-se de fácil aplicação individual ou coletiva e estima-se um tempo de aproximadamente 15 minutos para a coleta das informações referentes à avaliação institucional. Além de proporcionar facilidade na coleta, os instrumentos apresentaram boa estrutura psicométrica, o que é fundamental em se tratando de uma ferramenta de medida objetiva. Em consequência disso, o estudo trouxe mais cientificidade e solidez ao processo de avaliação.

Cronbach (1996) considera cientificamente aceito o teste que segue certas exigências e certos passos como elaboração, uso adequado e características como fidedignidade e validade. De acordo com Urbina (2007) quanto menos flutuações nos escores mais fidedigno será o teste. Assim, as duas escalas, aqui construídas revelaram-se bastante consistentes e precisas. Quanto à análise fatorial, Arias (1996) afirma que o objetivo seria o de encontrar um número reduzido de variáveis observáveis, denominados fatores, que explicariam a covariação do conjunto original de variáveis. Nesse sentido, pode-se considerar que a EDISC e a EDOC atingiram uma estrutura fatorial adequada para seus fins. Os instrumentos podem, através das informações geradas, oferecer caminhos para fundamentar as decisões institucionais na busca da qualidade do ensino superior.

CONSIDERAÇÕES FINAIS

A experiência de construção de instrumentos de autoavaliação institucional que aqui se relata demonstra a importância de se criarem modelos que ofereçam respostas mais precisas e sustentadas acerca da diversidade de fatores implicados na vida universitária. Nesse sentido, por meio das escalas aqui apresentadas, pensa-se ter colaborado com a construção de um modelo que favoreça à instituição o (re) conhecimento de sua realidade, através das vozes daqueles que constroem seu universo. Essas interações podem oferecer dados e informações relevantes para o processo de melhorias da universidade em todos os âmbitos.

Os resultados do estudo deixam evidências claras desses aspectos. Primeiramente, a concepção de que a prática da autoavaliação não pode ser limitada, restrita. Um instrumento unificado pode oferecer informações distorcidas sobre a realidade institucional, além de silenciar muitas vozes que têm contribuições importantes a oferecer. Em segundo lugar, a ideia de processo deve ser pressuposto básico, implicando movimento contínuo na busca do aperfeiçoamento de instrumentos avaliativos e de novos parâmetros que possibilitem mais eficácia nos resultados alcançados.

Vale ressaltar, ainda, que a autoavaliação institucional constitui uma análise interna que visa conhecer a instituição como um todo, considerando a sua dinâmica interna, ou seja, as condições que contribuíram para que aquele resultado fosse obtido. Assim, potencialidades e fragilidades passam a ser consideradas como referências para novas experiências, estratégias e propostas que representem novos passos na criação de uma cultura de avaliação, cuja finalidade seja a construção de uma universidade humana e humanizadora.

Recebido: 21 set. 2011

Aprovado: 28 maio 2012

  • AFONSO, A. J. Avaliação educacional: regulação e emancipação. São Paulo: Cortez, 2000.
  • ARIAS, R. M. Psicometria: teoria de los tests psicológicos y educativos. Madrid: Sintesis, 1996.
  • ARTES, R. Aspectos estatísticos da análise fatorial de escalas de avaliação. Revista de Psiquiatria Clínica (São Paulo), São Paulo, v. 25, n. 5, p. 223-228, 1998.
  • BELLONI, I.; BELLONI, J. A. Questões propostas para uma avaliação institucional formativa. In: FREITAS, L.C. (Org.). Avaliação de escolas e universidades Campinas: Komedi, 2003. p. 9-57.
  • BRASIL. Lei n.º 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei n.º 4.024, de 20 de dezembro de 1961, e dá outras providências. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 25 de novembro de 1995.
  • BRASIL. Lei n.º 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 23 dez. 1996.
  • BRASIL. Lei n.º 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, n. 72, seção 1, p. 3-4, 15 abr. 2004.
  • CRONBACH, L. J. Fundamentos da testagem psicológica 5. ed. Porto Alegre: Artes Médicas,1996.
  • CUNHA, L. A. O ensino superior no octênio FHC. Revista Educação & Sociedade, Campinas, v. 24, n. 83, p. 37-61, abr.2003. Disponível em: < http://www.cedes.unicamp.br >. Acesso em: 18 nov. 2010.
  • DANCEY, P. C.; REIDY, J. Introdução à análise de fatores. In: ______. Estatística sem matemática para psicologia usando SPSS para Windows Porto Alegre: Artmed, 2006. p. 420-455.
  • DIAS SOBRINHO, J. Avaliação institucional, instrumento de qualidade educativa: a experiência da Unicamp. In: BALZAN, N. C.; DIAS SOBRINHO, J. (Orgs.). Avaliação institucional: teorias e experiências. São Paulo: Cortez. 1995. p. 53-86.
  • ______. Avaliação quantitativa, avaliação qualitativa: interação e ênfases. In: SGUISSARDI, V. (Org.). Avaliação universitária em questão: reformas do estado e da educação superior. Campinas: Autores Associados. 1997. p. 71-89.
  • DIAS SOBRINHO, J. Avaliação: técnica e ética. Avaliação, Campinas, v. 6, n. 3, set. 2001.
  • MEC/SESU. Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB). Brasília, MEC/SESU, 1994.
  • POURTOIS, Jean-Pierre; DESMET, H. A educação pós-moderna São Paulo: Loyola, 1999. p. 21-33.
  • REIS, C. Z. T.; SILVEIRA, S. F. R.; FERREIRA, M. A. M. Autoavaliação em uma instituição federal de ensino superior: resultados e implicações. Avaliação, Campinas; Sorocaba, v. 15, n. 3, 2010. Disponível em: <http://homolog.scielo.br/scielo.php?>. Acesso em: 07 jul. 2011.
  • RISTOFF, D. I. Avaliação institucional: pensando princípios. In: DIAS SOBRINHO, J.; BALZAN, N.C. (Orgs.). Avaliação institucional: teorias e experiências. São Paulo: Cortez, 1995. p. 15-36.
  • SEGENREICH, S.C.D. O PDI como referente para avaliação de instituições de educação superior: lições de uma experiência. Ensaio, Rio de Janeiro, v. 13, n. 47, p. 149-168, abr./jun. 2005.
  • SCHLEICH, A. L. R.; POLYDORO, S.; SANTOS, A. A. A. Escala de satisfação com a experiência acadêmica de estudantes do ensino superior. Avaliação Psicológica, Porto Alegre, v. 5, n. 1, p. 11-20, jun. 2006.
  • SOUZA, A. M. C. Avaliação Institucional para melhoria do ensino e da aprendizagem. In: FELTRAN, R. C. S. (Org.).  Avaliação na educação superior Campinas: Papirus, 2002. p. 23-32.
  • URBINA, S. Fundamentos da testagem psicológica Porto Alegre: Artmed, 2007.
  • 1
    Os nossos agradecimentos à equipe de profissionais que, juntamente conosco, compuseram o Núcleo de Avaliação Institucional (NAI) durante os dois anos em que se realizaram as pesquisas.
  • Datas de Publicação

    • Publicação nesta coleção
      12 Mar 2013
    • Data do Fascículo
      Mar 2013

    Histórico

    • Recebido
      21 Set 2011
    • Aceito
      28 Maio 2012
    Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
    E-mail: revistaavaliacao@uniso.br