Análise da gestão dos Programas de Pós-Graduação baseada no resultado da avaliação CAPES por meio da matriz importância-desempenho

Analysis of management of graduate programs through the Importance-Performance Analysis (IPA)

Resumos

A avaliação, controle e gestão da pós-graduação no Brasil é promovida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e os programas que não possuem um plano estratégico formal desenvolvem suas ações baseadas no objetivo de cumprir com os requisitos do sistema de avaliação. O objetivo geral desta pesquisa é analisar o desempenho de 40 dos programas de pós-graduação stricto sensu na modalidade acadêmica da Universidade Federal do Rio Grande do Norte (UFRN) por meio da utilização da Análise Importância-Desempenho (AID) conforme proposta por Martilla e James (1977) e Sever (2014). O estudo tem caráter descritivo, desenvolvido por meio de revisão bibliográfica e pesquisa documental. Foram analisados um total de 1.124 itens das avaliações trienais 2010 e 2013 da CAPES, coletados de 80 fichas de avaliações de programas de pós-graduação, dos quais foram levantados o peso (importância) e a avaliação (desempenho) atribuída aos mesmos. O resultado da pesquisa é o diagnóstico geral da performance dos programas, identificando os itens cruciais relacionados com as forças e oportunidades de melhoria observados no resultado da avaliação dos programas de pós-graduação da UFRN.

Palavras-chave:
Avaliação CAPES; Gestão da Informação e do Conhecimento; Análise Importância-desempenho

The evaluation, control and management of post-graduation in Brazil are promoted by the Coordination for the Improvement of Higher Education Personnel (CAPES), while the programs that do not have any strategic plan develop their actions aiming to comply the requirements of this evaluation system. The general purpose of this research is to analyze the performance of 40 Postgraduation Stricto Sensu programs in the academic modality of the Federal University of Rio Grande do Norte (UFRN) using Importance-Performance Analysis (AID) proposed by Martilla and James (1977) and Sever (2014). The study has a descriptive nature, constructed through bibliographical review and documentary research. For this purpose, 1.124 items of CAPES triennial evaluations (2010 and 2013) were analyzed, collected from 80 evaluation forms of postgraduate programs. The weight (importance) and the evaluation (performance) granted to them were evaluated. The result of the research is the general diagnosis of the performances of the programs, identifying the crucial items related to the efforts and opportunities for improvement detected in the result of the evaluation of UFRN’s programs.

Keywords:
CAPES evaluation; Information and knowledge management; Importance-performance Analysis

1 Introdução

O aprimoramento das atividades de pós-graduação na Universidade Federal do Rio Grande do Norte (UFRN) é apontado no Plano de Desenvolvimento Institucional (2010 - 2019) como uma das diretrizes institucionais.

Como consequência dessa diretriz, o resultado dos programas de pós-graduação da UFRN na avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) ganha relevância dentro da instituição.

O resultado da avalição é divulgado através dos relatórios gerados pelos consultores da CAPES. Esses relatórios vem sendo objeto de pesquisa em vários estudos anteriores relacionados à avaliação da pós-graduação, como os trabalhos de Martins et al. (2012), Walter et al. (2013) e Maccari et al. (2009).

Os programas de pós-graduação que não possuem um plano estratégico formal desenvolvem suas ações baseadas no objetivo de cumprir com os requisitos do sistema de avaliação e corrigir os problemas apontados pelos consultores CAPES. Por esse motivo, o sistema de avaliações pode ser identificado como o norteador das ações gerenciais desenvolvidas nestes programas (MACCARI et al., 2009).

Nos estudos encontrados, as análises foram realizadas em programas de diferentes instituições e que pertencem à mesma área. Podemos observar isso tanto no caso dos trabalhos de Maccari et al. (2009), que visam programas da área de Administração, quanto no trabalho de Walter et al. (2013) que tem como foco programas da área de Contabilidade. Este trabalho é original no sentido de que analisa programas de diferentes áreas e traça um diagnóstico institucional comparativo entre os triênios 2010 e 2013.

Como ferramenta de gestão, visando analisar os resultados dos programas de pós-graduação da UFRN, utilizaremos a Importance-Performance Analysis (Análise de Importância-Desempenho, em tradução livre) conforme proposta por Martilla e James (1977) e atualizada por Sever (2014). Por meio da Análise de Importância-Desempenho, é possível a identificação dos quesitos que devem ser priorizados visando a melhoria do desempenho geral e os gráficos resultantes das análises são chamados de Matriz de Importância-Desempenho.

Este trabalho representa uma contribuição para a área de Gestão da Informação e do Conhecimento quando apresenta esta ferramenta prática que, à luz da teoria proposta por Choo (2003), proporciona a aquisição de informações que servirão de subsídio para o processo decisório e se constitui num mecanismo capaz de possibilitar que o conhecimento gerado em sua aplicação seja transformado em vantagem competitiva.

Frente ao exposto, a problemática desta proposta concentra-se em discutir a influência dos resultados do Sistema de Avaliação CAPES na gestão da pós-graduação da UFRN e responder ao seguinte problema de pesquisa: Quais quesitos avaliados pela CAPES devem ser priorizados para melhorar o resultado da avaliação da pós-graduação da UFRN?

O objetivo geral desta pesquisa é analisar, a partir da utilização do resultado das avaliações trienais da CAPES como fonte de informação estratégica, o desempenho de quarenta dos programas de Pós-Graduação Stricto Sensu da UFRN baseado na matriz de importância-desempenho. Dentre os programas pesquisados tivemos nove programas da área de ciências da saúde, oito das engenharias, sete das ciências sociais aplicadas, cinco das ciências exatas e da terra, cinco das ciências humanas, três das ciências biológicas e três da área de linguística, letras e artes.

Visando o atingimento desse objetivo geral, traçamos dois objetivos específicos que são: a) desenvolver a matriz de importância-desempenho para cada programa de pós-graduação stricto sensu acadêmico avaliado ao longo dos dois últimos triênios de avaliação CAPES e b) identificar pontos fortes e oportunidades de melhoria no resultado consolidado de todas as avaliações CAPES dos programas de pós-graduação da UFRN apresentado pela matriz de importância-desempenho desenvolvida.

A relevância sobre o tema, avaliação CAPES dos programas de pós-graduação, pode ser comprovada pelo crescimento do número de cursos de pós-graduação no Brasil, bem como pelas ações governamentais e institucionais visando o crescimento do sistema de pós-graduação, e ainda pelas recentes publicações científicas disponibilizadas nas bases de dados.

A motivação do autor para a realização deste estudo tem por justificativa pessoal o fato do mesmo trabalhar como secretário do Programa de Pós-Graduação em Engenharia Elétrica e de Computação da UFRN e vivenciar todas as etapas da avaliação CAPES desde 2008.

2 Avaliação da Pós-Graduação

O sistema de avaliação do ensino em nível de pós-graduação no Brasil está sob a responsabilidade da CAPES. Além da avaliação dos programas já em funcionamento, a CAPES também é responsável pela autorização de funcionamento de novos cursos de pós-graduação.

Os objetivos da avaliação são: a certificação da qualidade da pós-graduação brasileira e a identificação de assimetrias regionais e de áreas estratégicas do conhecimento no Sistema Nacional de Pós-graduação (SNPG).

A certificação da qualidade atribuída pela CAPES constitui-se em um instrumento de grande importância para as instituições que oferecem cursos de pós-graduação e para o governo federal. As ações de concessão de auxílios, tanto por parte das agências de fomento nacionais, como dos organismos internacionais são norteadas pelos conceitos atribuídos aos programas avaliados.

No período de 1976 a 1997 a classificação dos programas era feita em uma escala alfabética, de A a E. A partir de 1997, com a formulação do IV Plano Nacional de Pós-graduação, ocorre a mudança da classificação e a escala numérica de 1 a 7.

A partir de 1998, a avaliação do SNPG passa a ser orientada pela Diretoria de Avaliação da CAPES e realizada com a participação da comunidade acadêmico-científica por meio de consultores ad hoc. A análise por pares visa assegurar a qualidade que dá fundamentação ao reconhecimento e confiabilidade atribuídos à avaliação do sistema de pós-graduação da CAPES e, segundo Kuenzer e Moraes (2005) , mostra o envolvimento direto da comunidade acadêmica no processo avaliativo.

A CAPES realiza o acompanhamento anual de todos os programas de pós-graduação stricto sensu através dos dados lançados na Plataforma Sucupira, que recebe os dados referentes a: planejamento, gestão, infraestrutura física, formação e atividades de docentes, matrícula e titulação de alunos, disciplinas oferecidas, projetos de pesquisa desenvolvidos, produção bibliográfica em termos de artigos científicos, livros, dissertações e teses defendidas, produção técnica e tecnológica, etc.

Para todas as 49 áreas do conhecimento, a avaliação dos programas de pós-graduação é feita com a utilização dos dados lançados na Plataforma Sucupira. A CAPES avalia os programas levando em consideração os seguintes quesitos: I - Proposta do Programa, II - Corpo Docente, III - Corpo Discente, IV - Produção Intelectual e V - Inserção Social.

Para melhor entendimento de cada quesito, segue uma descrição resumida baseada nos documentos de área da avaliação CAPES (2013).

I - Proposta do Programa: analisa de forma qualitativa a coerência, a consistência, a abrangência e atualização das áreas de concentração, linhas de pesquisa, projetos em andamento e proposta curricular do programa.

Conforme o regulamento para avaliação 2013 da CAPES, programas classificados como conceito “Deficiente” ou “Fraco” nesse quesito não poderão alcançar nota superior a 3. Essa orientação para a atribuição de notas mostra a importância desse quesito para a avaliação global do programa, independente dele não possuir peso na nota.

II - Corpo Docente: neste quesito é avaliado o perfil do corpo docente dos programas. São verificados itens relativos à qualificação e às atividades desenvolvidas pelos docentes. Dentre as quais se encontram a adequação dos docentes às atividades de pesquisa e de formação, equilíbrio na distribuição das atividades entre docentes e a atuação na graduação.

III - Corpo Discente: neste quesito são avaliados os itens relacionados ao corpo discente do programa, particularmente a quantidade e a qualidade das teses e dissertações produzidas, a distribuição das orientações desses trabalhos concluídos pelo corpo docente do programa, bem como o tempo médio de titulação dos discentes.

IV - Produção Intelectual: este quesito avalia a produção qualificada do programa, a distribuição da produção qualificada pelo corpo docente do programa além da produção técnica, patente e outras produções que são consideradas relevantes. Dentre os itens avaliados nesse quesito, tem destaque o item de “Produção qualificada por docente permanente” pois é o item que tem peso no quesito.

V - Inserção Social: neste quesito são avaliados a inserção e impactos nacionais e regionais do programa, integração com outros programas com vistas ao desenvolvimento da pesquisa e da pós-graduação e visibilidade e transparência dada ao programa à sua atuação.

Ao final de um período de quatro anos (até 2013 a periodicidade era trienal) os programas são submetidos a uma criteriosa avaliação periódica onde são atribuídas a classificação dos programas, e cujos resultados são publicamente divulgados (CAPES, 2014).

Após a avaliação quadrienal, os programas recebem notas na seguinte escala:

• 1 e 2, tem canceladas as autorizações de funcionamento e o reconhecimento dos cursos de mestrado e/ou doutorado por ele oferecidos;

• 3 significa desempenho regular, atendendo ao padrão mínimo de qualidade;

• 4 é considerado um bom desempenho e 5 é a nota máxima para programas com apenas mestrado;

• Notas 6 e/ou 7 indicam desempenho equivalente ao alto padrão internacional.

A atribuição dos conceitos da CAPES obedece a critérios preestabelecidos no regulamento da avaliação CAPES (2013), divulgado com a devida antecedência pela instituição.

Os Documentos de Área são utilizados como referência para os processos avaliativos, tanto na elaboração e submissão de propostas de cursos novos quanto na avaliação quadrienal dos cursos em atividade. Juntamente com as Fichas de Avaliação e os Relatórios de Avaliação, os Documentos de Área constituem o trinômio que expressa os processos e os resultados da Avaliação Quadrienal.

Os Documentos de Área trazem as informações referentes aos quesitos de avaliação que deverão ser abordados pelos consultores, bem como seus pesos e definições em cada uma das áreas (CAPES, 2014).

As Fichas de Avaliação contêm informações referentes aos programas e os resultados de suas avaliações. Dentre os dados apresentados na ficha estão os básicos de localização e contato, os dados da avaliação com indicação do funcionamento do programa e confirmação dos dados considerados no acompanhamento anual e na avaliação quadrienal.

Os relatórios de avaliação são feitos por cada área ao final do período das reuniões presenciais de avaliação, trazendo considerações gerais a respeito da Avaliação Quadrienal, critérios para classificação de periódicos, artística, de livros e de produção técnica, critérios utilizados em cada item da Ficha de Avaliação, indicadores considerados para atribuição de notas 6 e 7 e a síntese da avaliação, comparando-a com os triênios anteriores.

Para Vogel (2015) a partir de 2000 o número de artigos, cartas e editoriais questionando os critérios CAPES cresceram, tendo em vista que a comunidade acadêmica passou a conhecer e compreender melhor os critérios da avaliação. A principal crítica identificada pela autora foi relacionada ao uso de indicadores de produtividade na avaliação. No entanto, a mesma autora afirma que a comunidade acadêmica vê a avaliação como necessária para a melhoria dos processos e que os processos avaliativos estão cada vez mais transparentes e as áreas têm tido liberdade para discutir os critérios e as respectivas formas de aplicação.

3 Análise Importância-Desempenho

Proposta por Martilla e James como uma técnica de pesquisa de negócio e desenvolvida como ferramenta de marketing, a Análise Importância-Desempenho (AID) se transformou em uma ferramenta bastante utilizada para examinar e sugerir estratégias de gestão tendo sua aplicação se estendido a vários campos de pesquisa (SEVER, 2014).

Ao longo dos anos, o método tradicional da AID vem sendo alterada por pesquisadores como Slack (1994) que apresenta a análise diagonal como uma alternativa de avaliação à matriz de importância-desempenho, ou ainda como Tontini e Picolo (2010) que propõem a Análise do Gap de Melhoria (Improvement Gap Analysis - IGA), uma fusão da matriz de importância-desempenho com o Modelo Kano, para identificar oportunidades de melhoria.

Azzopardi e Nash (2012) justificam a aceitação generalizada da técnica de AID devido à sua simplicidade e facilidade em projetar resultados e apontar ações estratégias para melhoria da competitividade. Estas características justificam a escolha da AID, conforme proposta por Martilla e James e atualizada por Sever (2014), como ferramenta de análise neste trabalho.

Para Hosseine e Bideh (2014) o método da AID provou ser uma ferramenta amplamente aplicável que é relativamente fácil para administrar e interpretar, resultando em seu extensivo uso entre pesquisadores e gestores em várias indústrias.

De acordo com Sever (2014), o objetivo principal na AID é o diagnóstico da performance de diferentes atributos de produtos ou serviços, identificando os atributos cruciais assim como forças e fraquezas, mostrando em que a gestão deve focar. Para Azzopard e Nash (2012), é uma ferramenta básica de diagnóstico e decisão que facilita a identificação de prioridades, influencia a mobilização e emprego de recursos realmente necessários e alinha os esforços do planejamento estratégico para aumento da competitividade.

A Análise Importância-Desempenho vem sendo aplicada como ferramenta de gestão em áreas como: indústria alimentícia (PARK; LEHTO; HOUSTON, 2003), hotelaria (CHEN, 2014), educação (CUNHA; WALTER; WINTER; FERNANDES, 2014; WALTER; TONTINI; DOMINGUES, 2006), aquicultura (SILVA; MEDEIROS; MARCELINO, 2007), turismo (SEVER, 2014) e serviços (TONTINI; SANT’ANA, 2007; MORETTI; MOYSÉS FILHO; PIMENTA, 2012).

3.1 Matriz Importância-Desempenho (MID)

Como proposto por Martilla e James (1977), a AID combina medidas de importância e desempenho em um gráfico bidimensional para facilitar a interpretação dos dados. No gráfico, são plotados os valores da importância no eixo horizontal e os do desempenho são plotados no eixo vertical.

O gráfico resultante da análise recebe o nome de Matriz Importância-Desempenho (MID), apresentada na Figura 1. Essa matriz classifica os atributos em quatro categorias ou quadrantes que identificam as prioridades na alocação de recursos.

O Quadrante I apresenta a característica de englobar os quesitos que possuem alta importância e nos quais foram obtidos alto desempenho. Segundo Wu e Shieh, os quesitos presentes neste quadrante indicam onde a organização possui vantagem competitiva. Para Sever (2014) esse quadrante apresenta os quesitos em que a organização se destaca, possui potencial vantagem competitiva e nos quais devem ser mantidos o bom trabalho.

No Quadrante II se apresentam os quesitos caracterizados pelo alto desempenho e uma baixa importância, indicando que os quesitos possivelmente receberam uma atenção exagerada. No Quadrante III estão os quesitos que tiveram baixo desempenho e possuem baixa importância, se apresentando como uma possibilidade de melhoria secundária. Os quesitos que se enquadram no Quadrante III são de baixa prioridade.

Figura 1
Matriz Importância-Desempenho

No Quadrante IV são apresentados os quesitos caracterizados por um baixo desempenho e uma alta importância. Os quesitos presentes neste quadrante representam as maiores fraquezas e principais problemas para a melhoria da competitividade, necessitando de atenção imediata para obter melhoria no resultado Wu e Shieh (2010), Sever (2014) e Martilla e James (1977).

Cada quadrante na matriz importância-desempenho indica uma estratégia diferente para ajudar os gestores na tomada de decisão e, como tal, a definição de cada quadrante é de fundamental importância para o sucesso do método de análise.

4 Metodologia

A metodologia da pesquisa é componente essencial para que os esforços de pesquisa empregados nesse estudo sejam apresentados e justificados de maneira detalhada. Para Mueller (2007), “a metodologia adequada tem a função de atestar o caráter científico e conferir qualidade e validade ao estudo realizado e ao conhecimento resultante”.

Portanto, considerando a importância do método para o processo de pesquisa, neste capítulo é apresentado o posicionamento quanto ao método de pesquisa utilizado para dissecar o fenômeno objeto do estudo, assim como também é apresentada a explicação do caminho metodológico esquematizado na Figura 2.

Figura 2
Condução da pesquisa

Com a predominância de mensurações, com base nos resultados das duas últimas avaliações trienais da CAPES, fazemos uma pesquisa que resulta na apresentação de gráficos e quadros objetivando conhecer melhor como os itens constituintes das fichas de avaliações dos programas de pós-graduação da UFRN foram avaliados.

A opção pela pesquisa documental justifica-se ainda pela credibilidade da CAPES e de seu sistema de avaliação perante a comunidade científica, devido à sua transparência na disponibilização dos dados da avaliação e também por ser a única fonte que reúne os dados de todos os programas, de forma padronizada (MARTINS et al., 2012).

4.1 Revisão sistematizada sobre AID

Na fase da definição da estrutura conceitual e teórica do trabalho, a primeira atividade desenvolvida foi o mapeamento da literatura, que consiste em identificar os trabalhos de cunho teórico e de caráter empírico (MIGUEL; FLEURY, 2011).

Visando perfazer essa fase realizamos uma revisão bibliográfica, na forma de uma revisão sistematizada, com o objetivo de melhorar o entendimento e dar sustentação à ferramenta de análise AID, conforme a mesma é utilizada no trabalho. Todas as etapas concretizadas na revisão sistematizada estão detalhadas na figura 3.

Figura 3
Etapas da revisão sistematizada

Ao todo foram encontrados 65 artigos, dos quais sete foram eliminados por serem repetidos. Dos 58 artigos restantes, 29 foram excluídos na leitura dos resumos. Dos 29 artigos restantes, 17 trabalhos foram excluídos baseado nos critérios de exclusão da seleção sistematizada e 12 artigos foram selecionados para a síntese qualitativa.

4.2 Seleção das unidades de pesquisa

Visando garantir a homogeneidade dos resultados levantados e com o intuito de atribuir validade às análises que serão realizadas, adotamos como amostra da pesquisa somente os 40 programas de pós-graduação stricto sensu na modalidade acadêmico da UFRN que foram avaliados em cada uma das duas últimas avaliações trienais da CAPES 2010 e 2013. Os quarenta programas selecionados foram: Administração, Antropologia social, Arquitetura e urbanismo, Artes cênicas, Ciência e engenharia de materiais, Ciência e engenharia de petróleo, Ciências biológicas, Ciências da saúde, Ciências farmacêuticas, Ciências sociais, Desenvolvimento e inovação tecnológica em medicamentos, Desenvolvimento e meio ambiente, Direito, Ecologia, Economia, Educação, Enfermagem, Engenharia civil, Engenharia de produção, Engenharia elétrica, Engenharia mecânica, Engenharia química, Engenharia sanitária, Estudos da linguagem, Estudos da mídia, Filosofia, Física, Fisioterapia, Geodinâmica e geofísica, Geografia, História, Matemática aplicada e estatística, Saúde coletiva, Patologia oral, Psicobiologia, Psicologia, Química, Serviço social, Sistemas e computação e Turismo.

4.3 Fontes e técnicas de coletas de dados

Na primeira etapa desta pesquisa realizamos uma pesquisa documental, tendo como fontes de informação as fichas de avaliação dos programas de pós-graduação resultantes das avaliações trienais 2010 e 2013 da CAPES.

As fichas de avaliação dos programas trazem a avaliação dos consultores da CAPES com relação aos quesitos: 1 - Proposta do Programa, 2 - Corpo Docente, 3 - Corpo Discente, Teses e Dissertações, 4 - Produção Intelectual e 5 - Inserção Social.

Dentre esses cinco quesitos, não foram avaliados os itens referentes ao quesito 1 - Proposta do Programa, tendo em vista que é atribuído ao mesmo o peso zero na avaliação. Aos demais quesitos são atribuídos pesos que variam conforme a área do programa avaliado e de um ano para outro. O número de itens avaliados em cada quesito também varia conforme a área de avaliação do programa. Essa variação justifica a aplicação da análise para cada curso individualmente ao longo de cada avaliação.

Para o desenvolvimento desta pesquisa, foram analisadas 80 fichas de avaliação relativas às duas avaliações trienais dos 40 programas de pós-graduação que fazem parte da amostra da pesquisa.

O protocolo de coleta de dados se desenvolveu da seguinte forma:

• Foi feito o download de cada uma das fichas de avaliação dos programas de pós-graduação da amostra, tendo como fonte de dados páginas de divulgação dos resultados das avaliações da CAPES.

• De cada uma das fichas de avaliação dos 40 programas foram coletados os valores referentes aos seguintes itens: a) código programa, b) ano da avaliação, c) número do quesito de avaliação, d) peso atribuído ao quesito de avaliação, e) número do item componente do quesito, f) descrição do item, g) peso atribuído ao item dentro do quesito de avaliação e h) valor atribuído ao quesito na avaliação.

4.4 Técnica de análise dos dados

Conforme proposto por Martilla e James (1977), o processo de desenvolvimento da Matriz Importância-Desempenho envolve três passos: 1) Seleção de atributos descrevendo o objeto da avaliação, 2) Determinação dos valores importância e do desempenho para cada atributo e 3) Plotagem dos valores de importância e desempenho encontrados num gráfico bidimensional.

4.4.1 Seleção de atributos

A primeira etapa no desenvolvimento da MID é a seleção dos atributos que serão avaliados e que descrevem o objeto da avaliação. Para a execução desse trabalho foram selecionados como atributos os itens avaliados pela CAPES em cada um dos programas selecionados, presentes nas fichas de avaliação dos mesmos.

4.4.2 Determinação dos valores importância

As fichas de avaliação dos programas são compostas por cinco quesitos divididos em itens. Cada quesito de avaliação possui o seu peso específico que é definido no regulamento da avaliação. Os quesitos são divididos em itens que possuem peso dentro do quesito a que estão vinculados. Para uniformizar os valores de importância para a montagem das matrizes de importância-desempenho deste trabalho é necessário realizar duas operações diferentes. A primeira operação é o cálculo do peso do item na avaliação total, que será dado em uma escala percentual. Para esse cálculo basta multiplicar o peso do quesito pelo peso do item e dividir por cem.

A segunda operação a ser realizada é a transformação do peso do item na avaliação total da escala percentual (encontrado conforme especificado no parágrafo anterior) para uma escala de 1 a 5 com o objetivo de possibilitar que os valores de importância e desempenho sejam plotados em eixos de cinco unidades.

Essa transformação entre escalas foi realizada baseado no princípio matemático da proporcionalidade entre elementos da escala. A transformação também é similar às operações matemáticas realizadas com escalas de temperatura. Walter et al. (2013) sugerem o mapeamento do domínio x de um intervalo [x_mín; x_máx] uma imagem y de um intervalo [y_mín; y_máx] por meio da equação:

$y=\left(\frac{x-x_{min}}{x_{máx}-x_{min}}\right)\times \left(y_{máx}-y_{min}\right)+y_{min}$

Nesta equação, os valores referentes à x serão os valores da escala percentual conhecida, conforme calculamos pela multiplicação dos pesos dos quesitos e dos itens. Os valores de y_máx e y_mín são os valores 1 e 5 da escala que desejamos obter.

4.4.3 Determinação do valor do desempenho

A CAPES atribui para cada um dos itens avaliados um conceito que varia conforme a escala em: deficiente, fraco, regular, bom e muito bom. Para a determinação do valor do desempenho dos programas em cada item, utilizaremos uma escala numérica para substituir a escala conceitual da CAPES. Essa escala numérica varia de 1 a 5 (1 - deficiente, 2 - fraco, 3 - regular, 4 - bom e 5 - muito bom) e é necessária para possibilitar a montagem das matrizes de importância-desempenho dos programas.

4.5 Composição das Matrizes

Como mostramos nas seções anteriores, na matriz a ser montada neste trabalho utilizaremos o peso de cada item da avaliação CAPES e o conceito atribuído a este mesmo item. Ou seja, no eixo horizontal foi plotado os valores referentes aos pesos e no eixo vertical os valores referentes à avaliação de cada item, conforme Figura 4.

Figura 4
Esquema de montagem da MID

Visando incrementar a validade e a confiabilidade do método, definiremos a posição dos eixos centrais, que determinam a separação dos quadrantes, por meio da abordagem centrada nos dados. Conforme apresentado por Sever (2014), nessa abordagem é usada a média dos valores observados para a importância e o desempenho como ponto de interseção dos eixos.

Para o desenvolvimento da matriz importância-desempenho neste trabalho são utilizados os quesitos avaliados pela CAPES. Sendo assim, os pesos previamente atribuídos pela CAPES são considerados para a caracterização dos valores de importância na matriz. Neste mesmo sentido, os valores referentes ao desempenho foram levantados a partir dos conceitos atribuídos pelos consultores da CAPES para cada quesito de avaliação.

4.6 Condução do teste piloto

Como teste piloto do nosso trabalho foi feita a matriz de importância-desempenho para o Programa de Pós-graduação em Administração (PPGA) da UFRN. No teste piloto foram consideradas as avaliações divulgadas pela CAPES em 2007, 2010 e 2013. A escolha do PPGA foi realizada por ordem alfabética e pelo fato do programa apresentar os cursos de mestrado e doutorado, além de ter sido avaliado nas três últimas trienais.

O objetivo inicial da pesquisa era analisar as três últimas trienais, porém, com a realização do teste piloto foi possível observar que os itens avaliados na avaliação trienal de 2007 possuem uma descrição diferente das dos itens das avaliações 2010 e 2013. No nosso entender, essas diferenças nos itens impossibilitariam a montagem de uma matriz de importância-desempenho geral para a instituição dentro do tempo disponível para a realização das pesquisas e, por isso, optamos por considerar somente as avaliações 2010 e 2013.

5 Análises e Discussão Resultados

Através da aplicação da metodologia apresentada neste trabalho, foi possível identificar os itens em que a UFRN deve concentrar esforços com o objetivo de melhorar o resultado dos programas na avaliação CAPES.

Após analisar individualmente o resultado das avaliações trienais CAPES 2010 e 2013 de cada um dos 40 programas de pós-graduação da UFRN selecionados para a pesquisa, é o momento de apresentar a Matriz de Importância-Desempenho para o consolidado na UFRN, conforme demonstrada nas Figuras 5 e 6.

Figura 5
MID UFRN 2010

Figura 6
- MID UFRN 2013

Por meio da análise das Figuras 5 e Figura 6 observa-se que o item 3.1 (Quantidade de teses e dissertações defendidas no período de avaliação, em relação ao corpo docente permanente e à dimensão do corpo discente) aparece como ponto forte da avaliação da UFRN, pois em ambos os triênios apareceu no Quadrante I. O item foi avaliado 74 vezes ao todo, sendo que em 40% destas ele foi enquadrado no Quadrante I, 27% das vezes no Quadrante II e 20% das vezes no Quadrante III. Em 81,1% das avaliações, o item 3.1 foi avaliado como bom ou muito bom.

Os itens 4.2 (Distribuição de publicações qualificadas em relação ao corpo docente do Programa) e 4.1 (Publicações qualificadas do Programa por docente permanente) foram os itens mais vezes enquadrados no Quadrante IV, sendo 32,57% (57) e 28,57% (50) de todos os itens que foram enquadrados neste quadrante, respectivamente. Logo em seguida, aparece o item 3.3 (Qualidade das Teses e Dissertações e da produção de discentes autores da pós-graduação e da graduação (no caso de IES com curso de graduação na área) na produção científica do programa, aferida por publicações e outros indicadores pertinentes à área) com 17,71% (31).

Nas duas avaliações trienais, a maioria dos itens avaliados foi enquadrado no Quadrante II, o que os caracteriza como ponto forte secundário. Ou seja, são pontos que possuem baixa importância, mas foram muito bem avaliados.

5.1 Discussão dos resultados

No âmbito institucional, dos 1124 itens analisados, 43,9% dos itens foram classificados no Quadrante II, 24,2% no Quadrante III e 16,0% no Quadrante IV e 15,9% no Quadrante I. Na figura 7 apresentamos a distribuição dos itens avaliados pelos quadrantes da matriz de importância-desempenho.

Figura 7
Distribuição dos itens por Quadrante da MID

Na Figura 7 o gráfico demonstra que 16,0%, ou seja 180 dos 1124 itens analisados, ficaram posicionados no Quadrante IV da Matriz de Importância-Desempenho. Ou seja, são itens caracterizados por um baixo desempenho, mas que apresentam um grande impacto na avaliação final da instituição e podem ser enquadrados como prioridade para melhoria dos resultados.

Através do gráfico radar apresentado na Figura 8 é possível fazer o comparativo da distribuição dos itens por quadrante nas avaliações 2010 e 2013. Observamos que na avaliação 2013 o número de itens quadrados no Quadrante IV (82) foi menor que na avaliação 2010 (98). Observamos também que o número de itens enquadrados nos quadrantes I e III aumentou em 2013, em relação à 2010. Esses valores indicam que houve uma melhora na avaliação dos itens entre as duas trienais.

Figura 8
Comparativo da distribuição dos itens por Quadrante da MID

No Quadro 1 podemos verificar que os itens “4.2 Distribuição de publicações qualificadas em relação ao corpo docente do Programa”, “4.1 Publicações qualificadas do Programa por docente permanente” e “3.3 Qualidade das Teses e Dissertações e da produção de discentes autores da pós-graduação e da graduação (no caso de IES com curso de graduação na área) na produção científica do programa, aferida por publicações e outros indicadores pertinentes à área” foram os itens que mais vezes foram enquadrados no Quadrante IV.

Quadro 1
Total de itens enquadrados no Quadrante IV

Itens	2010	2013	Total
4.2	31	26	57
4.1	27	23	50
3.3	15	16	31
4.3	7	5	12
3.1	6	3	9

• Fonte: Elaboração própria.

Com base nos dados do Quadro 1 podemos afirmar que as matrizes de importância- desempenho de consolidação da UFRN, conforme apresentadas nas Figuras 59 e 60, estão consistentes e que entre todos os itens avaliados os itens 4.2, 4.1 e 3.3 são os que mais apareceram como oportunidade de melhoria principal.

No Quadro 2 apresentamos a distribuição de itens por conceito atribuído na avaliação. Pela observação do quadro podemos constatar que a grande maioria dos itens avaliados foi classificado como muito bom ou bom. Os itens avaliados como muito bom são 43,15% e os itens avaliados como bom são 37,19% o que representa 80,34% de todos os itens avaliados.

Quadro 2
Distribuição dos itens pelo conceito

Avaliação	2010	2013	Total
Muito bom	204	281	485
Bom	211	207	418
Regular	86	66	152
Fraco	33	18	51
Deficiente	10	8	18
Total	544	580	1124

• Fonte: Elaboração própria.

6 Conclusão

A partir da montagem das 80 MID dos 40 programas de pós-graduação da UFRN selecionados para a análise, podemos concluir que, apesar da grande maioria (80,34%) dos itens avaliados ser classificado como bom ou muito bom, esses itens são os que possuem o menor peso da avaliação. Bem como, foi possível constatar que os itens de maior peso na avaliação foram os itens que mais vezes foram enquadrados no Quadrante IV.

Concluímos que o resultado da avaliação dos programas de pós-graduação, segundo a MID indica que a UFRN deve priorizar a melhoria da qualidade das Teses e Dissertações e da produção de discentes autores da pós-graduação e da graduação na produção científica dos programas bem como estimular cada vez mais a produção científica qualificada nos programas de pós-graduação.

O trabalho aduz como contribuição a utilização da Matriz de Importância Desempenho como ferramenta para melhoria do processo de tomada de decisão nas organizações. A elaboração das matrizes de importância-desempenho para os programas de pós-graduação da UFRN, a partir das informações constantes nas fichas de avaliação CAPES, contribui para a gestão dos programas por meio da identificação dos pontos fortes, fracos e oportunidades de melhoria no resultado da avaliação CAPES dos mesmos.

Como pesquisa futura sugere-se, primeiramente, que a pesquisa seja estendida para os programas de mestrado profissional e que seja feita uma comparação entre os itens apontados como prioritários pela matriz de importância-desempenho com outro método de análise como o método de Pareto por exemplo.

Referências

• AZZOPARDI, Ernest; NASH, Robert. A critical evaluation of importance-performance analysis. Tourism Management, [S. L.], v. 35, p. 222-233, abr. 2013. Elsevier BV. http://dx.doi.org/10.1016/j.tourman.2012.07.007. Disponível em: Disponível em: https://www.sciencedirect.com/science/article/pii/S0261517712001343?via%3Dihub Acesso em: 8 ago. 2016.
  » https://doi.org/http://dx.doi.org/10.1016/j.tourman.2012.07.007» https://www.sciencedirect.com/science/article/pii/S0261517712001343?via%3Dihub
• CAPES. Regulamento para Avaliação Trienal 2013. 2013. Disponível em: Disponível em: http://www.avaliacaotrienal2013.capes.gov.br/home-page/regulamento-da-trienal Acesso em:18 ago. 2016.
  » http://www.avaliacaotrienal2013.capes.gov.br/home-page/regulamento-da-trienal
• CAPES. Avaliação da Pós-graduação, 2014. 2014. Disponível em: Disponível em: http://capes.gov.br/avaliacao/sobre-a-avaliacao . Acesso em:8 ago. 2015.
  » http://capes.gov.br/avaliacao/sobre-a-avaliacao
• CHEN, Kuan-Yu. Improving importance-performance analysis: the role of the zone of tolerance and competitor performance. the case of taiwan's hot spring hotels. Tourism Management, [S. L.], v. 40, p. 260-272, fev. 2014.
• CHOO, Chu Wei. A organização do conhecimento: como as organizações usam a informação para criar significado, construir conhecimentos e tomar decisões. São Paulo: SENAC, 2003.
• CUNHA, Paulo Roberto; WALTER, Silvana Anita; WINTER, Roseli Pauli; FERNANDES, Francisco Carlos. Oportunidades de melhoria na disciplina de Contabilidade Introdutória com a utilização do modelo Kano e da matriz de importância versus desempenho. Contextus - Revista Contemporânea de Economia e Gestão, Fortaleza, v. 11, n. 2, p. 31-52, 31 dez. 2013.
• HOSSEINE, Seyed Yaghoub; BIDEH, Alireza Ziaie. A data mining approach for segmentation-based I mportance-performance analysis (SOM-BPNN-IPA): a new framework for developing customer retention strategies. Service Business, [S. L.], v. 8, 2014. p. 295-312.
• KUENZER, Acácia Zeneida; MORAES, Maria Célia Marcondes de. Temas e tramas na pós-graduação em educação. Educação & Sociedade, Campinas, v. 26, n. 93, dez. 2005.
• MACCARI, Emerson Antonio. et al A gestão dos programas de pós-Graduação em administração com base no sistema de avaliação da CAPES. Revista de Gestão USP, São Paulo, v. 16, n. 4, p. 1-16, out./dez. 2009.
• MARTILLA, Jhon A.; JAMES, Jhon C. Importance-performance analysis. Journal of Marketing, Chicago, v. 9, p. 77-79, jan. 1977.
• MARTINS, Cibele Barsani et al A influência do sistema de avaliação nos programas de pós-graduação stricto sensu brasileiro. Gestão Universitária na América Latina, Florianópolis, v. 5, n. 3, p. 155-178, dez. 2012.
• MIGUEL, Paulo Augusto Cauchick (org.). Metodologia de pesquisa em engenharia de produção e gestão de operações. 2. ed. Rio de Janeiro: Elsevier, 2012.
• MORETTI, Sérgio Luiz do Amaral; MOYSÉS FILHO, José Edson; PIMENTA, Renato Ferreira. Gestão e orientação para os clientes: um estudo em restaurantes por quilo utilizando o modelo de análise de importância e desempenho (ipa). Review Of Administration And Innovation - Rai, São Paulo, v. 1, n. 1, p. 188-210, 24 abr. 2012..
• MUELLER, Suzana Pinheiro Machado. Métodos para a pesquisa em ciência da informação. Brasília: Thesaurus, 2007.
• PARK, Oun-Joung; LEHTO, Xinran Y.; HOUSTON, Carol R. Assessing Competitive Attributes of Service Quality in University Foodservice. Journal of Foodservice Business Research, [S. L.], v. 16, n. 3, p. 235-254, jul. 2013.
• SEVER, Ivan. Importance-performance analysis: a valid management tool? Tourism Management, [S. L.], v. 48, p. 43-53, jun. 2014. Disponível em: Disponível em: https://www.sciencedirect.com/science/article/pii/S0261517714002222?via%3Dihub Acesso em:5 ago. 2015.
  » https://www.sciencedirect.com/science/article/pii/S0261517714002222?via%3Dihub
• SILVA, Márcio Ribeiro da; MEDEIROS, Josemar Xavier de; MARCELINO, Gileno Fernandes. Desempenho da produção familiar de tilápias no semi-árido potiguar. Revista de Economia e Sociologia Rural, Brasília, v. 45, n. 3, p. 729-748, set. 2007.
• SLACK, Niguel. The importance-performance matrix as a determinant of improvement priority. International Journal of Operations & Production Management, [S. L.], v. 14, n. 5, 1994.
• TONTINI, Gérson; PICOLO, Jaime Dagostin. Improvement gap analysis. Managing Service Quality: An International Journal, [S. L.], n. 20, p. 565-584, 2010.
• TONTINI, Gérson; SANT'ANA, André José. Identificação de atributos críticos de satisfação em um serviço através da análise competitiva do gap de melhoria. Gestão & Produção, São Carlos, v. 14, n. 1, p. 43-54, abr. 2007.
• VOGEL, M. J. M. Avaliação da pós-graduação brasileira: análise dos quesitos utilizados pela CAPES e das críticas da comunidade acadêmica. 2015 Tese (Doutorado) - Universidade de São Paulo, São Paulo, 2015.
• WALTER, Silvana Anita et al Oportunidades de melhoria nos programas de mestrado acadêmico em contabilidade a partir da avaliação da CAPES: uma análise longitudinal. Avaliação, Campinas; Sorocaba, v. 18, n. 3, p. 567-589, nov. 2013. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772013000300004&lng=pt&nrm=iso Acesso em:5 ago. 2015.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772013000300004&lng=pt&nrm=iso
• WALTER, Silvana Anita; TONTINI, Gerson; DOMINGUES, Maria José Carvalho de Souza. Análise da satisfação do aluno para melhoria de um curso de Administração. Revista de Administração FACES Journal, Belo Horizonte, v. 5, n. 2, p. 52-70, 2006.
• WU, Hsin-Hung; SHIEH, Jiunn-I. Quantifying uncertainty in applying importance-performance analysis. Quality & Quantity, Bolonha, v. 44, p. 997-1003, maio 2010.

Datas de Publicação

• Publicação nesta coleção
  18 Nov 2020
• Data do Fascículo
  Sep-Dec 2020

Histórico

• Recebido
  10 Set 2018
• Aceito
  01 Jun 2020