Autoavaliação institucional: um estudo sobre a análise de dados da autoavaliação em perspectiva diacrônica

Institutional self-evaluation: a study on the analysis of data from self-assessment in diachronic perspective

Resumo:

A precocidade do SINAES como um sistema norteador se percebe pelas dificuldades relacionadas ao seu efetivo desenvolvimento. O presente artigo busca analisar uma proposta de interpretação dos dados da avaliação institucional da URI, Campus de Santo Ângelo, no período de 2008 a 2012, com foco nas disciplinas dos cursos de Graduação. Na análise, prioriza-se a perspectiva de análise diacrônica dos dados, apontando as oscilações dos percentuais dos conceitos "Plenamente Satisfatório" e "Satisfatório". Os dados apresentados agrupam todas as disciplinas do Campus, organizados em gráficos para visualização da evolução da avaliação em cada item do questionário. Assim, a proposta vai ao encontro da cultura de autoavaliação, elencada como uma das maiores dificuldades do momento, na medida em que: se desenrola pelo processo evolutivo; tem como referência a instituição e o seu crescimento.

Palavras-chave:
SINAES; Avaliação institucional; Disciplinas.

Abstract:

The precocity of SINAES as a guiding system realizes the difficulties related to its effective development. This paper analyzes a proposed interpretation of the data of the institutional self-assessment of URI, Campus of St. Angelo, in the period 2008-2012, focusing on the disciplines of Undergraduate courses. In the analysis, we prioritize the perspective of diachronic data analysis, pointing fluctuations of the percentage of concepts "Satisfactory Fully" and "Satisfactory". The data presented consist of all disciplines on campus, organized into charts to visualize the evolution of assessment in each questionnaire item. The proposal meets the culture of self-assessment, put in one of the greatest difficulties of the moment, in that: the evolutionary process unfolds; reference is to the institution and its growth.

Key words:
SINAES; Institutional self-assessment; Disciplines.

1 Introdução

Este trabalho tem por base um projeto de iniciação científica desenvolvido pelos autores sobre dados coletados entre 2008 e 2012. Um dos objetivos do projeto foi construir uma metodologia para análise dos dados coletados no período 2008-2012 referente à avaliação das disciplinas no Campus de Santo Ângelo da Universidade Regional Integrada do Alto Uruguai e Missões -URI.

A URI vem realizando sistematicamente a autoavaliação que abrange todas as dimensões previstas na Lei do Sistema Nacional de Avaliação da Educação Superior - SINAES, instituído pela Lei 10.861 de 14 abril de 2004. A avaliação das disciplinas ocorre semestralmente, por meio de um instrumento que passou por adequações ao longo dos quase 10 anos de sua implantação.

Contudo, apesar do constante aprimoramento do instrumento de coleta de dados, os dados propriamente ditos não sofreram remodelações na forma de análise. As alterações na apresentação dos dados, com vistas ao diagnóstico de problemas, não implicaram um avanço na implantação de uma cultura de autoavaliação; persiste o ceticismo quanto à fidedignidade da avaliação por parte dos avaliados e a uma relativa indiferença por parte dos avaliadores.

Externamente, o modelo aplicado não só permite a criação de ranking entre IES bem como entre os próprios campi da instituição. Os índices atingidos pelas IES não são publicamente comparados, mas, não raro, são utilizados dados de outra unidade como base para a própria avaliação. Com isso se ignora as especificidades de cada IES, as diferenças entre os instrumentos de coleta e compilação de dados e as diferenças de análise e apresentação de dados.

É a partir destas problemáticas que a construção de uma ferramenta de análise se iniciou e, como tal, está sob constante avaliação. Completada a análise do período 2008-2012, é possível e necessário avaliar essa ferramenta, não enquanto bagagem técnica, mas enquanto meio para amenização das problemáticas que circundam a avaliação institucional.

2 Metodologia

A pesquisa integrou o método qualitativo ao quantitativo, buscando uma exploração do fenômeno. Na perspectiva quantitativa, ela assumiu os resultados quantificados das avaliações realizadas ao longo de cinco anos. Na óptica qualitativa, buscou estabelecer relações entre esses dados, visando construir significados que permitam uma compreensão dos mesmos ao longo do tempo, ou seja, por meio de análise diacrônica¹, considerando que a metodologia qualitativa tem como objetivo "proporcionar maior familiaridade com o problema, com vistas a torná-lo mais explícito ou a constituir hipóteses" (GIL, 2002, p. 41). Em relação ao procedimento técnico, a pesquisa foi documental, ocupando-se em analisar dados de relatórios de autoavaliação, obtidos em pesquisas institucionais de levantamento, procedimentos antecedidos por uma pesquisa bibliográfica. Os dados formam organizados em categorias para a análise diacrônica. Gil (2002, p. 134) explica que "a categorização consiste na organização dos dados de forma que o pesquisador consiga tomar decisões e tirar conclusões a partir deles". Segundo Heerdt (2005), analisar é sumariar as observações, de modo que se permita responder à problemática.

3 Análise e discussão

3.1 Caracterização da Autoavaliação

Os sujeitos da avaliação foram professores e acadêmicos, cujos índices de participação voluntária variam de 36,46% (2008-2)² a 57,72% (2012-1) entre os acadêmicos e de 39,02% (2008-2) a 92,27% (2009-2) entre os professores dos cursos de Graduação da IES. O quadro 1 mostra que em 2009-2 houve um significativo aumento na participação, principalmente dos acadêmicos, o que certamente se deve a novas estratégias de sensibilização³.

Quadro 1
Percentuais de participação espontânea na avaliação

	2008-1	2008-2	2009-1	2009-2	2010-1	2010-2	2011-1	2011-2	2012-1	2012-2
ACADÊMICOS	37,18%	36,46%	36,66%	56,99%	54,88%	49,31%	53,38%	51,17%	57,72%	50,58%
PROFESSORES	51,08%	39,02%	77,24%	92,27%	70,24%	65,45%	79,89%	66,28%	73,40%	76,90%

A coleta de dados é feito por meio do portal do aluno, portal do professor e a convite para comunidade externa. Na avaliação por disciplinas e nas demais são propostos cinco conceitos: "Plenamente Satisfatório", "Satisfatório", "Regular", "Insatisfatório" e "Não sei ou não quero responder". Há ainda uma parte para sugestões a serem escritas, sendo esta opcional. Após a avaliação ser concluída, os dados são organizados em gráficos com os percentuais e encaminhados à Comissão Própria de Avaliação do campus, que faz a distribuição aos avaliados. A avaliação contém nos anos analisados, em média, 14 questões.

Os dados "brutos" são gráficos gerados a partir da massa de dados (Imagem 1); cada gráfico contém as questões aplicadas naquele semestre e é entregue aos avaliados por meio de CD-ROM.

Imagem 1
dados "brutos"

Fonte: Gráfico do primeiro semestre de 2013, com a avaliação feita pelos professores acerca das disciplinas congregando todos os cursos do Campus Santo Ângelo.

As análises aplicadas pelas pesquisas de Iniciação Científica não substituíram o encaminhamento dos gráficos aos avaliados, tanto pela dificuldade de trabalhar com uma grande massa de dados quanto pela necessidade de avaliar as análises aplicadas.

3.2 Primeira ferramenta de análise

A avaliação das disciplinas amadureceu ao longo dos anos, o que resultou em várias adequações do instrumento/questionário utilizado, e algumas adequações na forma de devolução da avaliação. Também a leitura dos dados coletados passou por transformações, instigadas principalmente por um projeto de iniciação científica (2009-2010). A ferramenta desenvolvida neste projeto foi a classificação dos resultados de cada item avaliado em categorias (A, B, C, D). Essa conversão de percentuais em categorias significou um grande avanço ao processo na medida em que os gráficos "brutos" passam por um processo de leitura.

Esse processo de leitura aplicado constitui um avanço em direção ao proposto pelo SINAES que é o de dar um tratamento analítico aos dados. Contudo, esse tratamento não conseguiu sanar as principais críticas ao modelo: a avaliação como controle e como base para o ranking (BARREYRO; ROTHEN, 2006; LEHFELD et al., 2010; BARREYRO; ROTHEN, 2008; ANDRIOLA, 2005).

A categorização feita nesta ferramenta acentuou a possibilidade de ranking ao propor quatro conceitos estanques. Adiciona-se o fato de ofuscar as pequenas gradações por meio dos conceitos, não permitindo averiguar a direção dos percentuais, pois não houve uma comparação entre os anos. O objetivo de propiciar uma leitura mais adequada por meio da simplificação acabou por retirar informações fundamentais.

Na IES, a categorização desta ferramenta desenvolvida em 2009-2010 acentuou a noção de controle. O que poderia aumentar a resistência quanto à autoavaliação ou criar um conformismo quando o conceito for "A", ignorando que pode haver uma linha descendente na análise diacrônica.

3.3 Análise diacrônica dos dados

Buscando uma leitura mais transversal que possibilitasse um olhar evolutivo, passou-se a construir gráficos que contemplassem as oscilações ocorridas em cada aspecto avaliado ao longo dos anos. Analisando a evolução do conceito de avaliação institucional, Firme (1991) concebe como "um processo pelo qual avaliadores e interessados, juntos e em colaboração, criam uma construção consensual de valor a respeito de algum tema. Tal construção está sujeita a contínua reconstrução, incluindo refinamento, revisão e, se necessário, substituição" (p. 442).

É tendo a premissa da contínua reconstrução que o método de análise diacrônica foi proposto pela Comissão Própria de Autoavaliação (CPA) - URI Santo Ângelo, onde o bolsista de IC é também representante discente e o professor orientador é o coordenador geral da CPA no campus. A CPA é um dos locais onde são apresentados os dados e discutidos, dotando a comissão de um subsídio técnico para o seu trabalho; ao mesmo tempo em que a CPA colabora auxiliando a repensar a pesquisa sobre a autoavaliação.

O novo processo de leitura dos dados das avaliações feitas pelos acadêmicos originou 14 (quatorze) gráficos, os quais contêm as porcentagens de "Plenamente Satisfatório" (PS) e "Satisfatório" (S)⁴. Foram utilizadas apenas estas duas categorias, uma vez que, estando altas, elas indicam que os níveis de satisfação estão altos. Com a organização dos gráficos que condensam todo o campus, foi possível identificar as questões que mais sofreram oscilação, na média do campus.

Com essa forma de tratamento dos dados retira-se a estrutura de ranking na medida em que a base para a comparação da qualidade está nas avaliações anteriores. Cada agente avaliado pode, a partir deste método, observar como está a evolução do seu segmento, identificando as flutuações sofridas em comparação ao ano anterior.

Esses gráficos, gerados no software Excel, indicam a linha de tendência para os conceitos "PS" e "S". Os avaliados que observaram esse método têm destacado a importância das linhas ascendentes e da superação da linha "S" pela "PS". Ainda, conseguem pontuar as flutuações a eventos específicos, o que indica que a ferramenta de coleta de dados é eficaz, uma vez que os eventos têm impacto na avaliação.

3.4 Avaliação da motivação do professor, pelo acadêmico

Dentre as quatorze questões que foram avaliadas por meio dos conceitos, destaca-se o gráfico gerado na questão avaliada pelos alunos: "Como você avalia a motivação do professor em ministrar a disciplina?" Na análise diacrônica, observa-se uma lenta ascensão da qualidade até 2010; em 2011, ocorre uma significativa elevação na avaliação, que se mantém estável por três semestres e cai ligeiramente no final de 2012.

Gráfico 1
Motivação do professor em ministrar a disciplina, na avaliação dos acadêmicos.

O gráfico 1 teve boa aceitação pelos seus avaliadores e gestores na medida em que se levantaram hipóteses sobre as pequenas alterações que o gráfico sofreu. Considerando a autoavaliação como um instrumento para o aprimoramento da IES, pode-se inferir que, ao tomar o gráfico 1 como base para discutir a motivação dos professores em sala de aula, tem-se um subsídio mais pertinente para a questão.

O próprio SINAES (2009), ao se referir sobre as funções da autoavaliação, descreve o sentido do processo.

Em uma breve formulação: autoconhecimento para aumento do engajamento profissional, para fundamentadas emissões de juízos de valor e articulação de ações de melhoramento, tanto das pessoas envolvidas, quanto a instituição. Neste sentido, os processos de autoavaliação devem ser permanentes, isto é, constituir-se como uma cultura internalizada nas estruturas e nas ações institucionais (p. 106).

Ao apresentar o gráfico 1, pode-se perceber a imediata tentativa de compreender as suas linhas, por meio de observações e formulação de hipóteses para a oscilação. Nesse sentido, a pergunta tecida não é "qual é o percentual de satisfação dos alunos em relação à motivação dos professores"; mas, "o que poderia ter causado a melhora da satisfação a partir de 2011? E o que explicaria a queda nas a outras avaliações?". A resposta a estas questões implicam uma análise integrada da IES; avaliar, portanto, não se limita em saber o percentual, mas entender o conjunto de variáveis que produz esse percentual.

Quando esse modelo de gráfico é apresentado, percebe-se que há valorização maior da linha de tendência apontada pelo gráfico, do que os percentuais propriamente. Para certificar-se de que o gráfico 1 não teve influência de nenhum outro, na medida em que ele contempla todo o campus, foi feito mesmo gráfico com os dados de cada curso, no intuito de identificar um agente causador de flutuações, de forma mais específica. Dos 21 gráficos produzidos para a questão da motivação dos professores, na avaliação dos alunos, nenhum apresentou flutuação significativa ao ponto de afetar a média do campus.

3.5 Avaliação da motivação do acadêmico, pelo acadêmico

Paralelamente à percepção que os acadêmicos manifestam relativa à motivação do professor em ministrar as aulas, eles avaliam a própria motivação para frequentarem as aulas. Isso é feito por meio da questão "Minha motivação e meu envolvimento para frequentar a disciplina são" e cujas respostas se encontram sintetizadas no Gráfico 2.

Gráfico 2
Motivação dos acadêmicos para frequentarem as aulas, na avaliação dos próprios acadêmicos

Observa-se no gráfico que o percentual de respostas "PS" mantém-se abaixo do "S" até o final de 2010, mas a partir de 2011 supera-o, mantendo-se acima até o final de 2012, embora neste último ano tenha apresentado uma leve queda. Nota-se, portanto, na avaliação dos acadêmicos, uma correspondência entre a motivação dos professores para ministrarem as aulas e a motivação dos acadêmicos para frequentarem as aulas.

Quando o gráfico 1 e o gráfico 2 são apresentados conjuntamente, há uma tendência em relacioná-los na medida em que há uma similaridade entre as flutuações das linhas. A partir desta relação estabelecida entre o gráfico 1 e o gráfico 2, as perguntas feitas ao gráfico 1 passam a serem também feitas ao gráfico 2. Nota-se que os números não cabem mais, unicamente, como respostas as perguntas suscitadas pela avaliação institucional. Cabe, a partir disso, destacar as demais avaliações, a avaliação externa e a análise de outros processos, como integrantes do processo de autoavaliação.

Novas questões são formuladas quando o olhar abrange os gráficos 1 e 2. Essas questões são próprias do relacionamento entre os gráficos, e são formuladas sob o pressuposto de imbricação entre eles; "A motivação dos professores afetou a motivação dos alunos? Ou pelo fato de estarem mais motivados, os alunos avaliaram melhor os professores?"

3.6 Avaliação da motivação do professor, pelo professor

As questões respondidas pelos professores por meio do instrumento de avaliação das disciplinas têm semelhanças com as dos alunos, o que permite um comparativo entre os mesmos⁵. Com isso, foi possível organizar 15 (quinze) gráficos que mostram as oscilações dos percentuais de "PS" e "S". Um dos gráficos gerados mostra a "motivação para ministrar aulas", na avaliação do próprio professor (Gráfico 3).

Gráfico 3
Motivação do professor para ministrar aulas, na avaliação dos professore

O gráfico 3 evidencia que os professores avaliam positivamente sua motivação para trabalhar em sala de aula, sendo que o percentual de "PS" nunca baixa de 70%. Ele mostra também uma evolução ascendente do conceito "PS" que chega ao seu ponto alto no primeiro semestre de 2012. Paralelamente, o conceito "S" decresce lentamente, com algumas pequenas oscilações, chegando também ao menor índice no primeiro semestre de 2012.

Tendo um percentual estável e elevado, a questão da motivação dos professores em ministrar as aulas retoma as questões suscitadas nos gráficos gerados a partir da avaliação dos alunos. É possível, inclusive, inferir uma resposta a estas duas questões: "A motivação dos professores afetou a motivação dos alunos? Ou pelo fato de estarem mais motivados, os alunos avaliaram melhor os professores?". Analisando apenas os gráficos 1, 2 e 3 infere-se que a motivação dos professores não foi determinante nas oscilações dos gráficos 1 e 2.

3.7Avaliação da motivação do aluno, pelo professor

A partir dos gráficos apresentados e das questões suscitadas, faz-se necessário observar o gráfico 4, que expressa a avaliação dos professores quanto ao "envolvimento e participação da turma na disciplina".

Gráfico 4
- Interesse e envolvimento dos alunos com a disciplina, na avaliação dos professores.

O item em avaliação se relaciona ao anterior, ou seja, à motivação para frequentar as aulas, por parte dos acadêmicos, e para ministrá-las, por parte dos professores. Observa-se neste Gráfico que o conceito "PS" é inferior ao "S" em todos os semestres. Mesmo assim, ele nunca é inferior aos 35,26%. O conceito "S", por sua vez, oscila entre os 53,29% (2010-2) e 43,36% (2012-1). As oscilações na avaliação ocorrem especialmente entre os semestres de cada ano: o primeiro semestre é melhor avaliado pelos professores que o segundo, nesta questão; há também um crescimento gradativo, de um ano para outro, no conceito "PS".

Partindo do olhar integrado, os gráficos 1, 2, 3 e 4 apresentam as suas possibilidades de leitura, que pode ser integrada ou não. Cada gráfico permite a análise independente, mas criar relações entre eles, ao mesmo tempo em que pode responder indagações geradas, formula novas questões. Ao analisar individualmente o gráfico 4, pode-se inferir que os professores percebem uma desmotivação dos alunos no segundo semestre, em comparação ao primeiro.

Ao analisar de forma integrada os gráficos 1, 2, 3 e 4, pode-se questionar a fidedignidade do gráfico 4, na medida em que essa relação de desmotivação do segundo semestre não é apontada pelos alunos, quando avaliam a própria motivação em frequentar a disciplina. Cabe ainda interrogar, se a diferença entre a questão do gráfico 4 e do gráfico 2 não seria responsável pelas diferenças entre os gráficos.

3.8 A metodologia e seu alcance

Uma fragilidade que se observa na avaliação institucional da URI Santo Ângelo é em relação às finalidades. A pertinência do processo de autoavaliação ainda não atingiu intensidade que justifique o uso de seus dados para uma autorregulação ou para se pensar as políticas da instituição. Para isso a noção de processo se faz fundamental, pois é preciso instaurar uma cultura de autoavaliação para que então possa servir de subsídio na tomada de decisões; a cultura da autoavaliação se instaura na medida em que os atores da instituição percebem a coleta de dados e o seu respectivo tratamento como o meio mais legítimo de autoconhecimento institucional (EYNG, 2004).

Destaca-se a separação feita, na presente análise, entre o instrumento de coleta de dados e a metodologia de análise dos dados. Em relação ao instrumento, o SINAES (2009) destaca o constante aperfeiçoamento e a integração com outras fontes de dados, pressupondo que ao propor um instrumento de coleta o tratamento dado esteja imbricado. A proposta de pensar metodologias de análise para um único instrumento retira a imbricação entre instrumento e metodologia; se há uma necessidade de renovação do instrumento de coleta, também há a necessidade de repensar o tratamento a ser dados aos resultados.

A análise diacrônica pode ser caracterizada como mais um facilitador. A instigação em pensar o significado dos resultados não é feita unicamente por meio da apresentação destes. A experiência com a apresentação dessa metodologia mostrou diferentes graus de interesse.

A principal inovação nessa análise pode ser descrita como a substituição da preponderância quantitativa pela qualitativa. Ao se interrogar sobre o significado das linhas, sobre os causadores das flutuações, tem-se um avanço em direção à cultura da autoavaliação, pois nisso há autoconhecimento; os eventos, as ações passam a ter um painel de análise, cujo impacto pode mensurado.

Uma das críticas direcionadas à metodologia é a ênfase nos gráficos originados por conceitos estanques. Ainda não foi possível criar uma forma de análise que abarcasse o conjunto de sugestões e pudesse ser apresentado de forma sucinta e produtiva. A CPA URI Santo Ângelo, ciente dessa problemática, tem enfatizado o autoconhecimento de forma direta pelos seus avaliados, ou seja, tem motivado que cada avaliado leia criticamente todas as sugestões. Nessa questão ainda, o item de sugestões diz respeito, geralmente, a situações específicas em que a interpretação mais adequada é a do avaliado - quando se faz uma leitura crítica - do que a interpretação de um grupo de análise para todo o campus, no caso a CPA.

Se por um lado há uma crítica na preponderância de gráficos, é necessário destacar que estes passam a dificultar a criação de ranking devido à diminuição do aspecto quantitativo e ao aumento do aspecto qualitativo. Apesar dos gráficos serem construídos basicamente por meio de percentuais, para serem analisados necessitam de uma contextualização.

3.9 Resultados da análise diacrônica

O método de realizar uma leitura diacrônica e comparativa dos dados coletados no período 2008-2012 na avaliação das disciplinas no Campus de Santo Ângelo da URI revelou-se bastante fecundo. Para além das observações e comparações já registradas ao longo do texto, ele permite algumas considerações gerais e deixa em aberto outras que os autores deste texto talvez nem suspeitem. Dentre os resultados da aplicação da análise diacrônica, pode-se apontar os que seguem.

A primeira constatação é que a avaliação das disciplinas na URI Santo Ângelo, nos anos 2008 a 2012, nos gráficos antes apresentados e nos outros gerados na pesquisa, apresenta uma constância nos resultados, sendo estes muito positivos. Em 4 gráficos da avaliação feita pelos alunos, o "PS" se mantém invariavelmente acima do "S". O mesmo ocorre em 9 dos gráficos dos professores. Em 3 gráficos dos professores nos quais o "S" é superior ao "PS", as questões se referem diretamente ao envolvimento dos alunos com a disciplina, seus conhecimentos prévios e sua aprendizagem. Na avaliação dos alunos, a média geral do agrupamento semestral dos conceitos "PS" e "S" é 83,05 e dos professores 93,69%. Em 11 dos 14 gráficos, os alunos registram médias acima de 40 no "PS", mesmo número de gráficos dos professores em que o "PS" se encontra acima dos 50%.

Em segundo lugar, constatam-se evoluções nos gráficos, de um período a outro. A principal evolução se verifica a partir de 2011, quando, de modo geral, os resultados se tornam significativamente melhores do que nos anos anteriores, principalmente na avaliação dos acadêmicos. Dos 14 gráficos gerados a partir da avaliação dos alunos, 8 apontam uma inversão entre os itens "PS" e "S", em que sempre o "S" era maior até o ano de 2010, quando ocorre a inversão, passando o item "PS" a ser maior. Na avaliação dos professores, a evolução para melhor é mais lenta e gradual, o que está muito bem representando no gráfico que expressa a motivação dos professores para ministrarem as aulas.

Nossa terceira observação é que, apesar das diferenças nos percentuais, não existem disparidades exacerbadas entre a avaliação dos alunos e a avaliação dos professores, o que indica alto grau de fidedignidade nos dados, cujos correlatos são constatados em ambos os grupos avaliados. Isso não é desmentido pelo fato de a autoavaliação dos professores em geral ser melhor do que a avaliação que os acadêmicos fizeram das disciplinas. O fato é compreensível, pois, ao avaliarem as suas disciplinas, os professores principalmente fazem avaliação de si mesmos e os alunos avaliam mais os professores do que a si mesmos. Essa diferença, reitera-se, não é contraditória e serve apenas para compreender a índole específica de cada grupo de avaliadores.

Em quarto lugar, pode-se dizer que os gráficos e suas respectivas análises apontam para alguns pontos para os quais a URI Santo Ângelo deverá atentar. Uma indicação diz respeito aos conhecimentos prévios dos alunos para frequentarem as disciplinas. Na avaliação dos alunos, em média, apenas 30% indicam plena satisfação, enquanto outros 47,7% os consideram satisfatórios; na mesma questão, os professores apontam uma média de 22,87 de "PS" e 51,18 de "S". Outro item que merece atenção é o do envolvimento e do interesse dos acadêmicos em frequentarem as disciplinas, onde também os índices de "PS" situam-se abaixo do "S", com exceção de 2012-1, na avaliação dos professores. Na avaliação dos professores, também a aprendizagem dos alunos preocupa, pois apenas 26,73% se manifestam plenamente satisfeitos, em média, o que em parte é compensado pelos 60,63% que a consideram satisfatória.

4 Considerações finais

O primeiro semestre de 2011 teve as melhores avaliações por parte dos professores e dos alunos, no período de 2008-2012. Esta conclusão só é possível quando se faz uma análise diacrônica. Um dos objetivos do projeto de pesquisa foi elaborar uma ferramenta de análise, competindo a este artigo analisar a validade dessa ferramenta. Considerando que a metodologia anterior significou um avanço ao propor um tratamento analítico aos dados "brutos", e considerando que a metodologia anterior enfatizou a criação de ranking e acentuou outros problemas, pode-se dizer que a metodologia de análise diacrônica, tal como apresentada neste artigo, é um significativo avanço na análise de dados da avaliação institucional.

Ao se propor uma reflexão sobre a metodologia aplicada, propõe-se o seu aperfeiçoamento tendo em vista que não é um método perfeito e, como tal, precisa de uma reflexão. As críticas feitas são bases para o seu aperfeiçoamento, na medida em que questionam as certezas. A análise diacrônica colabora na aceitação do processo de autoavaliação e permite subsidiar programas mais focais dentro da instituição por meio de diagnósticos e avaliações.

Pensar qualitativamente a IES exige repensar constantemente as práticas de ensino. Dias Sobrinho (2000), ao abordar a questão do repensar as práticas de ensino por meio de uma avaliação qualitativa, afirma que "a ênfase qualitativa faz com que os agentes sejam implicados em todos os momentos da ação, desde a construção do projeto, passando pelo seu desenvolvimento, até a conclusão" (p. 215). A Avaliação Institucional constitui-se, dessa forma, como parte fundamental de cada um dos momentos de construção do projeto. Enfim, o que se verificou nesta análise é que o método de análise dos dados "brutos" se constitui como uma parte fundamental para o processo de autoavaliação. Verificou-se ainda, que repensar as ferramentas de coleta de dados implica em repensar a metodologia de análise destes dados.

Referências

• ANDRIOLA, Wagner B. Desafios e necessidades que se apresentam às Comissões Próprias de Avaliação (CPAs) das instituições de ensino superior visando à implementação do Sistema Nacional de Avaliação da Educação Superior (SINAES). In: RISTOFF, Dilvo; ALMEIDA JR., Vicente (Orgs). Avaliação participativa, perspectivas e desafios. Brasília: INEP, 2005. p. 57-70.
• BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. "Sinaes" contraditórios: considerações sobre a elaboração e implantação do Sistema Nacional de Avaliação da Educação Superior. Educ. Soc., Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.
• BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Para uma história da avaliação da educação superior brasileira: análise dos documentos do PARU, CNRES, GERES e PAIUB. Avaliação, Campinas; Sorocaba, v. 3, n. 1, p. 131-152, mar. 2008.
• DIAS SOBRINHO, José. Avaliação da educação superior. Petrópolis: Vozes, 2000.
• EYNG, Ana Maria. Avaliação e identidade institucional: construindo uma cultura de antecipação. Revista Diálogo Educacional, Curitiba, v. 4, n. 11, p. 33-42, jan./abr. 2004.
• FIRME, Thereza Penna. Avaliação institucional: pressupostos teóricos, metodológicos, ações e estratégias. In: SEMINÁRIO DE ABERTURA DA AVALIAÇÃO INSTITUCIONAL: A UNIVERSIDADE EM QUESTÃO, 1, 1991, Feira de Santana. Anais..., Feira de Santana: UEFS, 1991, p. 431-442.
• GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2002.
• HEERDT, Mauri L. Metodologia científica. Palhoça: UNISULVIRTUAL, 2005.
• LEHFELD, Neide A. de Souza et al. Reflexões sobre o processo de auto avaliação institucional: o olhar de uma Comissão Própria de Avaliação. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p. 177-194, mar. 2010.
• SINAES - Sistema nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5. ed. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2009

• 1
  Adota-se esta designação pouco convencional para o estudo de uma questão em perspectiva histórica, ou seja, de sua evolução ao longo do tempo. O termo vem de duas palavras gregas: o prefixo "diá" que significa através e o substantivo "cronos" que quer dizer tempo. O sentido etimológico de "diacrônico" é, então, "através do tempo". E é neste sentido que se usa o termo neste artigo.
• 2
  Neste trabalho, os semestres serão sempre indicados pelo ano seguido do semestre, este separado daquele por um hífen.
• 3
  Ao longo dos anos, a cada semestre, a CPA promove em parceria com a direção acadêmica do Campus uma palestra de explicações e de sensibilização para os novos acadêmicos. Decisiva, porém, foi a estratégia de colocar no portal de alunos e professores um banner com o convite e um link de acesso à avaliação. Cada vez que era acessado o portal, o usuário se defrontava com o banner até que tivesse realizado sua avaliação. A partir da adoção dessa estratégia, o percentual de participantes cresceu significativamente e se manteve sempre acima dos 50%, com exceção do 2º semestre de 2010 quando o percentual ficou em 49,3%, o que pode ser considerado como Satisfatório ou mesmo Plenamente Satisfatório, considerando que a participação é espontânea.
• 4
  Daqui para frente, usaremos sempre as siglas "PS" para "Plenamente Satisfatório e "S" para Satisfatório.
• 5
  Como as questões sofreram alterações ao longo do período, foi necessário fazer um mapeamento do questionário respondido pelos professores, onde se buscou integrar as questões que mantinham o mesmo sentido e se repetiam durante os cinco anos, nos dois semestres de cada ano.

Datas de Publicação

• Publicação nesta coleção
  Aug-Nov 2016

Histórico

• Recebido
  28 Abr 2014
• Aceito
  02 Jul 2014