Construção de instrumento para avaliação de cursos de pós-graduação

Development of an instrument to evaluate graduate programs

ARTIGOS

Construção de instrumento para avaliação de cursos de pós-graduação

Development of an instrument to evaluate graduate programs

Gabriel Vidor^I; Flávio Sanson Fogliatto^II; Carla ten Caten^III

^IUniversidade Federal do Rio Grande do Sul. E-mail: [e-mail]

^IIE-mail: [e-mail]

^IIIE-mail: [e-mail]

RESUMO

Este artigo tem como objetivo propor um método para avaliar cursos de pós-graduação em Instituições de Ensino Superior (IES). O método busca identificar, através de um questionário, critérios inibidores da qualidade e promotores da qualidade em cursos de pós-graduação. Critérios significativos nos dois blocos são identificados através de uma Análise Fatorial. Em um segundo passo, esses critérios são contemplados através de ações que atendem as demandas identificadas. O método proposto é ilustrado através de um estudo de caso. Ao final do estudo pode-se constatar a eficiência da Análise Fatorial como técnica auxiliar à tomada de decisão por parte da IES.

Palavras-chave: Gestão de ensino superior. Instrumento de avaliação. Análise fatorial.

ABSTRACT

This paper presents a method to evaluate graduate programs in Higher Education Institutions (HEIs). The method aims at identifying criteria that inhibit and promote the quality of graduate programs. Significant criteria in both cases are indentified through a Factor Analysis. In a second step such criteria are converted into actions addressing the demands identified. The method is illustrated through a case study. We eventually conclude for the efficiency of Factor Analysis as technique to support the decision making processes in HEIs.

Key words: Higher education management. Evaluation instruments. Factor analysis.

INTRODUÇÃO

A demanda pelo ensino superior vem se diversificando e fazendo frente à expansão da oferta, tanto pelo número e tipo de alunos – homens e mulheres, jovens e idosos, trabalhadores e desempregados – quanto pela variedade de cursos e níveis procurados – graduação, pós-graduação e educação continuada (SIQUEIRA, 2005).

Estudos do Instituto de Pesquisas aplicadas (IPEA), de 2000, mostram que no Brasil há uma relação diretamente proporcional entre o nível de escolaridade e as chances de se constituir uma carreira profissional sólida. Conforme mostram esses estudos, outras relações ainda podem ser estabelecidas: (i) cada etapa de formação representa 50% de aumento em relação à remuneração anterior, (ii) um diploma de curso superior representa, em média, 128% a mais de compensação em relação a quem apenas finaliza o ensino médio, e (iii) a chance de progressão dos que realizam pós-graduação em relação ao curso de graduação gira em torno de 66% (FAÇANHA; MARINHO, 2001).

Pode parecer paradoxal que, embora a oferta ainda seja suficiente apenas para atender cerca de 56% dos que se formam no ensino médio, os últimos anos apresentem um número significativo de vagas ociosas, muito provavelmente pela impossibilidade de os alunos arcarem com as mensalidades do ensino superior privado. Embora o preço possa não ser o fator mais relevante na competição pela demanda de ensino superior, sem dúvida é fator importante em um país que apresenta renda média anual de R$ 6.473,00 per capita (IBGE, 2002).

Nesse contexto, surge a necessidade das Instituições de Ensino Superior (IES) estarem preparadas para melhorar suas atividades relacionadas ao ensino e estruturar uma base capaz de atender a crescente procura por qualificação (GOMES et al, 2010). Conforme Tachizawa e Andrade (1999), os processos administrativo e (principalmente) pedagógico das instituições educacionais necessitam de um novo sentido, a ser encontrado por meio da implantação de uma cultura da qualidade que privilegie mudanças nos objetivos e metas das instituições.

Uma técnica que permitiria às IES direcionarem seus esforços de melhoria é a avaliação sistemática do andamento de suas atividades. Conforme Arroyo e Rocha (2010), o processo de avaliação induz as transformações necessárias, impactando diretamente sobre o cotidiano das pessoas envolvidas. A avaliação também é crítica para mobilização das IES e seus cursos, dado que apresenta o grau de satisfação de seus discentes com o andamento das atividades (SOUZA; REINERT, 2010).

Neste artigo, propõe-se uma sistemática para avaliar cursos de pós-graduação com vistas a mapear carências e propor melhorias. Para tanto, o trabalho foi organizado através de um estudo de caso, no qual conduziu-se uma pesquisa descritiva do tipo survey. De posse dos dados coletados, se realizou uma Análise Fatorial para identificar fatores que inibem o aumento qualidade e, em uma segunda etapa, fatores que permitem o aumento da qualidade no curso de pós-graduação.

Para alcançar seu objetivo, o artigo está organizado de forma a apresentar uma breve revisão bibliográfica a respeito de gestão de IES, características e importância de ferramentas de avaliação na gestão do ensino superior, e uma introdução à técnica de Análise Fatorial. Na sequência são apresentados o método utilizado e os resultados obtidos na pesquisa. Na finalização do trabalho, apresenta-se uma discussão sobre os dados obtidos e identificam-se novas oportunidades de pesquisa oriundas das análises realizadas.

GESTÃO DO ENSINO SUPERIOR

A presente seção aborda dois assuntos, claramente demarcados no texto: (i) gestão de IES e (ii) instrumentos para avaliação de seu desempenho.

Apesar da diversidade dos sistemas educacionais existentes, estruturados e organizados conforme distintos modelos de desenvolvimento, o ensino superior na atualidade passa por uma crise. A característica fundamental da atual crise é a sua incapacidade de enfrentar os desafios e dar respostas adequadas às necessidades sociais de um mundo globalizado.

Essa crise é decorrente do ambiente em que as IES estão inseridas. Conforme Reis (2003), esse ambiente caracteriza-se pela complexidade, competitividade e dinamicidade. Um dos principais fatores que influencia a complexidade de um dado ambiente é o nível de interação existente entre os seus elementos. A principal decorrência da complexidade do ambiente é o aumento da incerteza sobre o que irá ocorrer, diminuindo a capacidade de prever cenários futuros (econômico, político, tecnológico, entre outros) e, portanto, obrigando a instituição a trabalhar com várias alternativas. Tais incertezas se traduzem, por exemplo, em questões sobre a capacidade de pagamento da população-alvo, profissões a serem demandadas pela sociedade, comportamento da sociedade e tecnologia dominante no futuro (REIS, 2003). A multiplicidade de respostas possíveis força a instituição a desenvolver uma série de processos internos para verificar se e quando alguns dos cenários traçados irão se confirmar. Esse maior nível de incerteza aumenta os desafios para a gestão universitária.

Já o nível de competitividade existente em um dado ambiente depende da relação entre os recursos existentes e os necessários para suprir as necessidades de um dado grupo de sistemas. No meio universitário, a competitividade do ambiente é determinada pela relação entre a oferta e a demanda de vagas. Essa é uma das características mais importantes para as instituições, pois ela determina, entre outras coisas, a rentabilidade potencial e a própria sobrevivência. Uma das principais decorrências de ambiente com alto nível de competitividade é a demanda por cursos que agreguem valor (ou seja, cuja relação custo-benefício seja vantajosa) aos educandos.

A terceira característica dominante no ambiente das instituições enfocada por Reis (2003) é a sua dinamicidade, decorrente do desenvolvimento científico e tecnológico, e da volatilidade dos aspectos sócio-político-comportamentais presentes na sociedade contemporânea.

A fim de reverter a crise existente e criar uma coalizão dos três fatores acima listados, a avaliação e gerenciamento administrativo das instituições tornam-se necessários. A avaliação das IES é uma forma de rever e aperfeiçoar seu projeto acadêmico e sócio-político, promovendo a permanente melhoria da qualidade e a eficácia e pertinência das atividades desenvolvidas. A utilização eficiente, ética e relevante dos recursos humanos e materiais das IES, traduzidas em compromissos científicos e sociais, assegurando a qualidade e a importância de seus produtos confere sua legitimação junto à sociedade (SILVEIRA et al, 2005).

Dessa forma, procura-se a melhor estratégia para a transição de uma IES frágil em seus mecanismos de controle, para outra gerenciável através indicadores e metas avaliativas (LEITE, 2010). Whittington (2002) propõe quatro abordagens para a concepção da estratégia, como função de seu processo de criação e resultados pretendidos: clássica, evolucionária, sistêmica e processual. A abordagem clássica destaca a dimensão racional do planejamento, sendo a estratégia o resultado de cálculos e análises deliberadas na busca da maximização de resultados. A abordagem evolucionária tem como foco a metáfora da evolução biológica, cujas estratégias são desenvolvidas como forma de competição e sobrevivência. Na abordagem processual, a estratégia é vista como resultado das imperfeições humanas e refletidas nas organizações sociais e no mercado; a estratégia, neste caso, resulta de aprendizado sistemático e de comprometimento. Na abordagem sistêmica, as estratégias são reflexos do sistema social onde se desenvolvem e interagem, diversificando sua atenção para interesses que transcendem o lucro.

Quinn e Voyer (2001) alertam que os processos de formulação e adoção de estratégias nas organizações raramente se parecem com os modelos analítico-racionais destacados na literatura; na prática, esses processos costumam ser fragmentados e intuitivos. Para Severino (2009), as estratégias nas organizações resultam da convergência de decisões internas e eventos externos, que conduzem a um consenso sobre as decisões e ações a serem desenvolvidas na organização.

Sob estas perspectivas, percebe-se que a estratégia dentro da IES pode transpassar os conceitos estabelecidos, visto que as organizações de ensino superior, por sua complexidade, costumam exigir dos gestores criatividade na formulação de abordagens gerenciais que lhes permitam atuar em um contexto complexo, caracterizado por objetivos difusos, tecnologia múltipla, liberdade acadêmica, natureza qualitativa do trabalho e grande sensibilidade a fatores ambientais (LUIZ et al, 2010). Neste particular, os modelos gerenciais racionais e analíticos disponíveis não têm sido muito úteis aos gestores universitários, ao lidarem com a complexidade, ambiguidades, paradoxos e subjetividade que estão disseminados nas IES (MEYER JR; MANGOLIM, 2006). Portanto, verifica-se que ainda não estão consolidadas estratégias e abordagens no que tange à gestão estratégica universitária. Alternativas têm sido desenvolvidas e aplicadas caso a caso, o que permite que novas combinações sejam realizadas.

Os instrumentos de avaliação, de alguma forma, fornecem elementos para indicar a efetividade da estratégia na organização. Conforme Ribeiro (2011), as transformações ocorridas nos últimos anos aceleram o interesse por instrumentos de avaliação da qualidade do ensino nas instituições. Nesse sentido, verifica-se que gradativamente os instrumentos de avaliação têm evoluído, visto que permitem mudanças e adequações nos sistemas de ensino, melhorando esses sistemas quanto às demandas sociais (RIBEIRO, 2011).

Exemplo maior de aplicação desse processo pode ser evidenciado através do Sistema Nacional de Avaliação da Educação Superior (SINAES). Em um panorama amplo, pode-se atribuir ao SINAES a avaliação de políticas de educação superior voltadas para o planejamento de cada Instituição (INEP, 2011). Contudo, estudos como os de Alencar (2002), Cunha (2004) e Horta e Moraes (2005) mostram também a necessidade de avaliações pontuais para constituir melhorias demandadas por públicos específicos.

MÉTODO

A pesquisa desenvolvida nesse trabalho é do tipo quantitativa e desenvolvida através do método de estudo de caso desenvolvido no Departamento de engenharia de produção e transportes da Universidade Federal do Rio Grande do Sul (UFRGS). A abordagem de pesquisa é uma abordagem descritiva, dado que visa identificar fatores inibidores de qualidade e aspectos a melhorar no Programa de Pós-Graduação (PPG) em estudo.

O trabalho é caracterizado por quatro etapas: (i) elaboração das questões, (ii) validação conceitual das questões, (iii) estudo de caso para testar e validar o instrumento, e (iv) formalização do instrumento de medição.

A primeira etapa foi realizada diretamente pelos pesquisadores e a coordenação do curso de pós-graduação analisado. Para a elaboração do questionário, foram pesquisados instrumentos de avaliação comuns à área de ensino e comparado esses instrumentos aos interesses estratégicos do PPG. Além disso, dados os objetivos específicos da avaliação, tais como melhorar a integração entre prática organizacionais e teoria conceitual, definir novos meios de comunicação entre discentes e docentes, questões foram moldadas de acordo com o interesse do PPG. Ao final do trabalho, o questionário foi organizado em quarenta questões divididas em dois blocos. No primeiro bloco, o objetivo é avaliar os fatores inibidores da qualidade; no segundo bloco, o objetivo é entender quais elementos de melhoria são demandados por docentes e discentes do PPG.

Na segunda fase, o questionário foi submetido a um teste piloto. Uma vez realizado o teste, foi necessário reorganizar a forma como todas as questões estavam elaboradas. Com isso, o total de questões foi reduzido a 34. Dessas questões, dezesseis foram agrupadas no primeiro bloco e dezoito no segundo bloco. Essa nova versão foi submetida a um novo teste, que levou à ajustes de redação das 34 questões.

Na terceira etapa os dados foram coletados. O questionário foi enviado por e-mail para um total de 107 pessoas, entre docentes e discentes (alunos de mestrado e doutorado) do PPG. Optou-se pela coleta impressa do questionário, através de urnas colocadas nas secretarias do programa. Ao todo foram coletadas 32 amostras para a análise. Esses 32 respondentes representam 29% do total possível. Esse número é estatisticamente aceitável para pesquisas do tipo survey, onde a média de espondentes não ultrapassa 15% e números similares ou superiores permitem a validação da amostra (FÁVERO et al, 2009).

Na etapa seguinte, as amostras foram tabuladas através da medição de dados. A tabulação e análise dos dados foi realizada através do software Matlab® versão 7.9.0.529. A medição foi necessária em cada uma das questões, dado que o tipo de escala utilizada foi uma escala contínua, variando de zero a quinze. Em um primeiro momento, foram obtidas estatísticas descritivas por questão (média e desvio padrão). Para o propósito de identificar e examinar fatores de qualidade no PPG, realizou-se uma análise fatorial usando o método de extração via componentes principais, e rotação dos fatores do tipo varimax. A análise fatorial (AF) é uma técnica multivariada que busca identificar um número relativamente pequeno de fatores comuns que podem ser utilizados para representar relações entre um grande número de variáveis interrelacionadas (FÁVERO et al, 2009). Complementarmente, Maroco (2007) define que a AF é uma técnica de análise exploratória de dados que visa descobrir e analisar a estrutura de um conjunto de variáveis.

A AF transforma um conjunto de variáveis correlacionadas em um grupo único, chamado de fator (FÁVERO et al, 2009). A formação desse grupo visa essencialmente facilitar a interpretação dos dados pelo pesquisador. De acordo com Hair Junior et al (2005), um fator é definido pela combinação linear das variáveis originais e explica uma dimensão dos dados analisados.

Para avaliar a consistência interna do questionário e a confiabilidade de cada fator, foi utilizado o alfa de Cronbach. No estudo, foi usado como critério de confiabilidade um valor superior a 0,5 para esse coeficiente, que corresponde a uma confiabilidade média. Além disso, para verificar a aderência dos dados analisados à distribuição normal multivariada, pressuposto para a utilização da AF, foram realizados os testes de KMO e esfericidade de Bartlett (TOKER, 2011). O número de fatores retidos na AF foi determinado através do teste da raiz latente e análise do gráfico de scree, no qual utilizou-se como ponto de corte autovalores maiores que 1,0.

Na sequência, é realizada a rotação dos fatores com objetivo de simplificar a estrutura dos coeficientes dos componentes principais retidos, facilitando a interpretação dos dados (LAW; MEYER, 2011). Ao fim, é realizada a interpretação e nomeação dos fatores por meio das cargas fatoriais. Essa etapa é totalmente subjetiva, visto que depende do conhecimento do pesquisador para analisar a forma como os dados foram agrupados (FÁVERO et al, 2009).

Para finalizar o estudo de caso foram discutidas as ações de melhorias possíveis de serem implementadas. Para cada fator, foram analisadas as questões que o compunham e estruturadas ações compatíveis com elas. Tais ações foram ratificadas em reuniões com um grupo de docentes e discentes, e sumarizadas através de um plano de ação.

Os resultados do estudo de caso foram utilizados para reorganizar o instrumento de medição. Dessa forma, foi possível definir pontos fortes e fracos do instrumento de medição que levam a construção de instrumento adequado para avaliar um PPG. Os instrumentos de coleta vem apresentados no Apêndice I. Nesses instrumentos é possível observar os fatores inibidores e as estratégias facilitadoras de qualidade.

RESULTADOS

Descrição e interpretação dos dados

Os dados foram coletados através de um questionário estruturado em 34 questões. O instrumento foi divido em duas partes. A primeira parte identifica fatores inibidores da qualidade das teses, dissertações, publicações e demais pesquisas realizadas no PPG, sendo constituída de 16 questões e tendo sido respondida por docentes e discentes. Nesse caso, as âncoras da escala variaram de Insatisfeito (pior situação; valor 1,0) a Satisfeito (melhor situação; valor 15,0). A escala utilizada foi escala contínua, e não existem pontos intermediários de variações entre satisfeito e insatisfeito. A vantagem da utilização desse tipo de escala é a possibilidade de realizar testes estatísticos para validação numérica dos resultados, algo que é dificultado em abordagens que usam escalas discretas com âncoras intermediárias.

A segunda parte apresenta os fatores que demandam ações de melhoria e deveriam ser focados para agregar qualidade ao PPG. As 18 perguntas foram respondidas por docentes e discentes. No segundo bloco, as âncoras extremas da escala utilizada foram Não importante e Fundamental.

O período de coleta dos dados compreendeu 45 dias entre o envio dos questionários e a retirada das urnas das secretarias. Após esse período, os questionários foram organizados, numerados e os dados transferidos para uma planilha. Nela, foi possível fazer uma análise inicial dos dados, estimando-se a média e desvio padrão de cada questão, conforme apresentado na Tabela 1.

Observa-se que em nenhuma das questões a média corresponde ao valor máximo ou mínimo da escala. Contudo, algumas informações importantes podem ser extraídas através de uma análise preliminar. As questões 06 e 07 apresentam valores médios inferiores ao centro da escala (7,5), bem como valores pequenos de desvio-padrão. A insatisfação na questão 06 refere-se a pouca experiência dos discentes na elaboração de artigos científicos e, na questão 07, ao vínculo entre as disciplinas e a elaboração dos artigos científicos. De fato, essas duas informações estão retratando a carência do PPG quanto à capacidade dos docentes em prover foco aos diversos temas de pesquisa nas aulas oferecidas aos discentes.

Na segunda parte do questionário é possível observar que todos os valores estão acima do valor médio da escala, refletindo comprometimento dos respondentes quanto ao que pode ser realizado para melhorar a qualidade do programa. Ressalta-se que as questões 19 e 31 são as que apresentam as demandas latentes, na opinião dos respondentes. A questão 19 foca a necessidade de definir um objetivo e delimitar o tema de pesquisa; a questão 31 ressalta a necessidade de definir e divulgar os critérios de avaliação usados para avaliar as teses e dissertações do PPG.Todavia, o objetivo do trabalho não passa apenas pela análise descritiva das informações, sendo necessário identificar os fatores inibidores e os fatores de melhoria. Para tanto, procedeu-se uma análise fatorial, com a utilização do software SPSS 18. A análise do primeiro bloco mostra que cinco fatores explicam o comportamento dos dados questionários; esses fatores estão apresentados na Tabela 2.

Na Tabela 2 tem-se, além dos nomes atribuídos aos fatores, as questões agrupadas em cada fator (estas correspondem às linhas com valores em negrito na coluna de cada fator; por exemplo, o fator Apoio e Suporte agrupou as questões Qst01, Qst08, Qst14, Qst15 e Qst16). O primeiro fator, Apoio e Suporte, descreve o grau de satisfação dos respondentes com a atuação dos docentes e a atuação da coordenação do curso nas fases intermediárias e antecedentes às defesas. O fator Formatação e Área de atuação descreve o grau de satisfação dos respondentes em relação à estrutura que as teses e dissertações estão organizadas, bem como seu grau de satisfação com as linhas de pesquisa em que cada docente atua. O fator Disponibilidade descreve o grau de satisfação dos respondentes quanto ao tempo e dedicação do docente e discente para o desenvolvimento da tese e dissertação. O fator Métodos e Disciplinas descreve o grau de satisfação dos respondentes quanto ao vínculo das disciplinas e a elaboração dos artigos desenvolvidos para a versão final da tese e dissertação. O último fator, Tema de pesquisa, descreve o grau de satisfação dos respondentes com relação ao tempo gasto para definir o tema de pesquisa.

Além das informações sobre os fatores, a Tabela 2 traz outras duas informações: o % da variância explicada por cada fator e a confiabilidade do agrupamento realizado. A variância explicada é mostrada de forma cumulativa e mostra o percentual explicado por cada fator dada todo grupo de respostas. A confiabilidade das respostas às perguntas agrupadas em cada fator é dada pelo Alfa de Cronbach. No caso, como todos os valores estão acima de 0,5, as respostas pode-se afirmar que há consistência na forma como os dados foram agrupados (FÁVERO et al, 2009).

De uma forma geral, percebe-se que os fatores condizem com as informações proporcionadas na análise preliminar, onde os principais problemas estão associados à qualidade de artigos científicos gerados. Por vezes, a área onde os discentes desenvolvem seus trabalhos diverge da área de pesquisa do docente, levando a problemas na qualidade dos trabalhos e a insatisfação dos orientandos e dos orientados.

A Tabela 3 apresenta os resultados para o segundo bloco de questões. Observa-se que foi possível agrupar as questões em cinco fatores. Questões agrupadas em cada fator correspondem às linhas com valores em negrito na coluna de cada fator.

O primeiro fator, Qualificação (composto pelas questões Qst22, Qst28, Qst29 e Qst30) coloca como demanda mais importante a competência técnica dos docentes e discentes para melhorar a qualidade dos trabalhos de teses e dissertações. O fator Comunicação explica como melhorar as relações entre docentes e coordenadores de áreas de pesquisa, além de ressaltar a necessidade de divulgar os critérios para avaliação de teses e dissertações para discentes e docentes. O fator Disponibilidade mostra a necessidade de melhoria quanto ao tempo dedicado pelos docentes para seus orientandos e também o tempo dedicado pelos discentes no desenvolvimento de suas atividades. O fator Apoio e Suporte reflete as necessidades de melhorias entre o vínculo dos discentes com as pesquisas realizadas pelos docentes e as oportunidades de instituir as avaliações parciais com acompanhamento do programa. O último fator, Tradução, reflete a importância dada pelos discentes e docentes para a produção de artigos em língua inglesa.

Os fatores do segundo bloco resultaram consistentes com as análises feitas no primeiro bloco: o segundo bloco traz fatores com correspondentes diretos no primeiro. Além disso, o segundo bloco trata de aspectos percebidos por docentes e discentes nas suas atividades cotidianas. Finalmente, as questões com maiores médias (Qst19 e Qst31) pertencem aos fatores Qualificação e Comunicação, que são os que explicam maior parte da variância no segundo bloco.

ANÁLISE E DISCUSSÃO DOS DADOS

Observando-se o primeiro bloco de questões é possível notar insatisfação de docentes e discentes com o PPG: 14 questões apresentam uma nota média inferior a 10,0, o que mostra uma satisfação inferior a 60%. Além disso, não há nenhuma nota próxima ou superior a doze, o que refletiria uma satisfação superior a 80%. É possível perceber que a análise fatorial permite, de fato, explicar em maior detalhe os sintomas levantados no questionário.

Por outro lado, o segundo bloco traz 11 questões com nota acima de 10,0, nota que indica 60% de aprovação. Esse bloco reflete os aspectos que são considerados como fundamentais, revelando que não estão sendo desenvolvidos cotidianamente no programa. Nesse sentido, os fatores de comunicação e qualificação não seriam suficientes para agregar todas as melhorias, sendo necessárias ações em todos os fatores para garantir melhoria da qualidade.

Os dados revelam também que há demandas que, na opinião das pessoas, podem levar ao aumento da qualidade dos cursos de mestrado e doutorado do respectivo programa. Para sumarizar estes aspectos, a Figura 1 apresenta um plano de ação.

Esse plano de ação foi traçado em consenso por docentes e discentes. Foram organizados pequenos grupos de trabalho para apurar sugestões de melhoria. Posteriormente, as ações sugeridas em um grupo foram submetidas à avaliação por outro grupo, até a finalização do plano de ação. Para cada um dos fatores identificados, opções de melhorias foram pensadas e descritas no plano de ação.

As ações foram distribuídas conforme os cinco fatores elaborados no segundo grupo. Acredita-se que a implementação dessas ações possa viabilizar a meta do programa de, na próxima avaliação da CAPES, ascender para a nota 6. As ações foram criadas especificamente para cada fator, não ficando restritas aos fatores principais. Além disso, não houve uma priorização para implementação das ações, devendo estas ser implementadas de acordo com as datas estabelecidas (ou mais cedo, caso possível).

A primeira ação (Melhorar processo de seleção para Mestrado e Doutorado) é importante, já que modifica o perfil do discente que está sendo selecionado. Atualmente, o processo de seleção tem privilegiado áreas de conhecimento específicas. Através da adoção das modificações no processo, espera-se uma maior interdisciplinaridade entre os candidatos selecionados. Através da segunda ação na Figura 1, busca-se essencialmente vincular as disciplinas aos métodos, modelos e sistemas que são propostos nas teses e dissertações. O aprofundamento pedagógico não visa mudar a didática dos professores, mas flexibilizar disciplinas direcionando-as à criação dos métodos, modelos e sistemas tratados nas pesquisas dos discentes.

A terceira ação foca essencialmente no fator Comunicação. A falta de conhecimento de como estruturar a tese e dissertação por parte de docentes e discentes inibe uma produção maior de artigos científicos que sejam independentes entre si, tornando os artigos de um trabalho (tese ou dissertação) incompletos para uma única publicação. A quarta ação visa melhorar a forma com que as pesquisas são realizadas. Por vezes, pesquisas dentro de uma mesma área acabam sobrepostas ou mesmo sem vínculo entre si. Com os seminários pretende-se instituir um canal de comunicação, evitando a sobreposição de assuntos e consequentemente garantindo um aumento no número de publicações.

A quinta ação busca melhorar a empatia e tempo de convívio entre orientadores e orientandos. Uma agenda de encontros aumentaria a responsabilidade dos orientandos de semanalmente apresentar resultados de sua pesquisa e, consequentemente, levaria a uma aproximação com seu orientador. A sexta e sétima ações visam motivar a participação discente na produção de artigos científicos. Atualmente, o foco da pesquisa discente não está na produção científica, mas apenas na produção da tese ou dissertação, sendo necessário modificar esse panorama.

Na oitava e nona ações, busca-se respaldar o discente na pesquisa que está sendo desenvolvida. O acompanhamento através de entregas e avaliações parciais permitiria correções para versão final, elevando a chance de publicações de qualidade. Na décima ação busca-se melhorar o foco das pesquisas, visto que é um dos aspectos de maior insatisfação constatado nos resultados do primeiro bloco do questionário.

A última ação visa, por fim, desenvolver o hábito entre discentes e docentes de publicar em língua inglesa. Na área de concentração do programa em estudo, os periódicos de língua inglesa são os mais bem classificados na tabela Qualis da CAPES, sendo necessárias publicações desse gênero para atingir a meta de melhoria da nota do PPG.

O fato de um instrumento como esse aqui apresentado ter sido implementado no programa traz consigo aspectos positivos. Primeiramente, mostra uma postura de mudança e melhoria apoiada por docentes e discentes. Além disso, permite implementar melhorias de uma forma organizada e objetiva, facilitando o trabalho da coordenação do curso, dos pesquisadores, dos orientadores e orientados. Finalmente, e mais importante, leva à criação de uma cultura de mudança, aprimorando e adequando a forma como o programa trabalha para o público que recebe a cada ano. Normalmente são recebidos vinte e cinco novos mestrandos e dez novos doutorandos. Essa renovação não aceita a adoção de políticas rígidas por parte do PPG; a sistemática apresentada nesse trabalho auxilia a focar nesse aspecto.

Um aspecto negativo da sistemática é a sua dependência na vivência dos respondentes no programa para que as respostas tenham consistência e significado. Além disso, a forma de coleta de dados depende da participação de docentes e discentes comprometidos com o programa, o que pode por vezes restringir o tamanho da amostra, inviabilizando o tipo de análise sugerido no trabalho.

CONCLUSÃO

A gestão estratégica de IES tem sido apresentada como particular de cada instituição, curso ou atividade; contudo, observa-se que alguns aspectos da gestão podem ser generalizados ou compartilhados. Nesse sentido, o presente artigo teve o objetivo de propor uma sistemática genérica para avaliação da qualidade em programas de pós-graduação. A sistemática utiliza como instrumento de coleta de dados um questionário estruturado. As ferramentas analíticas propostas são a Análise Fatorial e a análise de consistência interna baseada no Alfa de Cronbach.

A ferramenta proposta permite identificar pontos de insatisfação e focar melhorias, especificamente para os clientes (docentes e discentes), de programas de pós-graduação. Além disso, proporciona um canal direto para comunicação entre a gestão, seus docentes e discentes e, também, institui um ciclo de melhorias para diferentes metas que possam ser elaboradas por uma instituição. Nesse sentido, a sistemática proposta pode ser entendida como uma alternativa para IES no que tange suas ações estratégicas e operacionais de melhorias.

Como desenvolvimentos futuros, propõe-se adaptar o instrumento de avaliação à outra variável de resposta que não a qualidade. Exemplos incluem o engajamento de docentes e discentes em uma fase preliminar à análise da qualidade, ou a satisfação com os resultados do programa na avaliação da CAPES, em uma fase posterior da melhoria de qualidade.

Recebido: 23 maio 2011

Aprovado: 10 dez. 2012

APÊNDICE I

• ALENCAR, Eunice M. L. Soriano de. O estímulo à criatividade em programas de pós-graduação segundo os seus estudantes. Psicologia: Reflexão e Crítica, v. 15, n. 1, p. 63-70, 2002.
• ARROYO, Daniela Munerato Piccolo; ROCHA, Maria Silva Pinto de Moura Librandi. Meta-avaliação de uma extensão universitária: estudo de caso. Avaliação, Campinas; Sorocaba, v. 15, n. 2, p. 135-161, jul. 2010.
• CUNHA, Luiz Antônio. Desenvolvimento igual e combinado no ensino superior: estado e mercado. Educação & Sociaedade, Campinas, v. 25, n. 88, p. 795-817, out. 2004.
• FAÇANHA, Luís Otávio; MARINHO, Alexandre. Instituições de ensino superior governamentais e particulares: avaliação comparativa de eficiência. RAP, Rio de Janeiro, v. 35, n. 6, p. 83-105, nov./dez. 2001.
• FÁVERO, Luiz Paulo Lopes et al. Análise de dados: modelagem multivariada para a tomada de decisões. Rio de janeiro: Elsevier, 2009.
• GOMES, Ana Julia Pereira Santinho; ORTEGA, Luís do Nascimento; OLIVEIRA, Décio Gomes de. Dificuldades da avaliação em um curso de farmácia. Avaliação, Campinas, Sorocaba, v. 15, n. 3, p. 203-221, nov. 2010.
• HAIR JUNIOR, Joseph et al. Análise multivariada de dados 5. ed. Porto Alegre: Bookman, 2005.
• HORTA, José Silvério Baía; MORAES, Maria Célia Marcondes de. O sistema CAPES de avaliação da pós-graduação: da área de educação à grande área de ciências humanas. Revista Brasileira de Educação, Campinas, n. 30, p. 95-116, set./dez., 2005.
• IBGE (2002). Instituto Brasileiro de Geografia e Estatística Disponível em: <http://www.ibge.gov.br/series_estatisticas/>. Acessado em: 03 nov. 2010.
• INEP (2011) Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira Disponível em <http://www.inep.gov.br/superior-sinaes>. Acesso em: 28 mar. 2011.
• LAW, Dennis. C. S.; MEYER, Jan. H. F. Adaptation and validation of the Course Experience Questionnaire in the context of post-secondary education in Hong Kong. Quality Assurance in Education, Austrália, v.19, n.1, p.50-66, 2011.
• LEITE, Denise Balarine Cavalheiro. Estudantes e avaliação. Avaliação, Campinas; Sorocaba, v. 5, n. 3, p. 9-27, nov. 2010.
• LUIZ, Natália Mattos; COSTA, Aline Franco da; COSTA, Helder Gomes. Influência da graduação em engenharia de produção no perfil dos seus egressos: percepções discentes. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p.101-120, mar. 2010.
• MAROCO, João. Análise estatística com a utilização do SPSS 3. ed. Lisboa: Edições Sílabo, 2007.
• MEYER JR., Vitor; MANGOLIN, Lúcia. Estratégias em Universidades Privadas: estudos de caso. In: ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO , 30., 2006, Salvador, BA. Anais.., Salvador, BA, 2006.
• QUINN, James Brian; VOYER, John. Incrementação lógica: administrando a formação da estratégia. In: MINTZBERG, Henry; QUIN, James Brian. O processo da estratégia Porto Alegre: Bookman, p. 109-114, 2001.
• REIS, Fábio José Garcia dos. Perspectivas da gestão universitária. Taubaté: Cabral, 2003.
• RIBEIRO, Jorge Luiz Lordêlo de Sales. Avaliação das universidades brasileiras: as possibilidades de avaliar e as dificuldades de ser avaliado. Avaliação, Campinas; Sorocaba, v. 16, n. 1, p. 57-71, mar. 2011.
• SEVERINO, Antônio Joaquim. Expansão do ensino superior: contextos, desafios, possibilidades. Avaliação, Campinas, Sorocaba, v.14, n. 2, p. 253-266, jul. 2009.
• SILVEIRA, Luiz Alfredo et al. Instituições de ensino superior: os desafios no desenvolvimento da administração conteporânea - perspectivas e realidades. In: COLOQUIO INTERNACIONAL SOBRE GESTIÓN INIVERSITARIA EN AMÉRICA DEL SUL. 5., 2005, Mar del Plata, Argentina. Anais...;  Mar del Plata, Argentina, 2005. Disponível em: <http://repositorio.ufsc.br/xmlui/handle/123456789/97429>. Acesso em: 23 mar. 2011.
• SIQUEIRA, Moema Miranda. O ensino superior e a universidade. Revista de Administração de Empresas Eletrônica, São Paulo, v. 4, n. 1, jan./jul., 2005.
• SOUZA, Saulo Aparecido de; REINERT, José Nilson. Avaliação de um curso de ensino superior através da satisfação/insatisfação discente. Avaliação, Campinas; Sorocaba, v. 15, n.1, p. 159-176, mar. 2010.
• TACHIZAWA, Takeshy; ANDRADE, Rui Otávio Bernardes de. Gestão de instituições de ensino Rio de Janeiro: FGV, 1999.
• TOKER, Boran. Job satisfaction of academic staff: An empirical study on Turkey. Quality Assurance in Education, Austrália, v. 19, n. 2, 2011.
• WHITTINGTON, Richard. O que é estratégia São Paulo: Pioneira Thomson Learning, 2002.

Datas de Publicação

• Publicação nesta coleção
  12 Mar 2013
• Data do Fascículo
  Mar 2013

Histórico

• Recebido
  23 Maio 2011
• Aceito
  10 Dez 2012