Oportunidades de melhoria nos programas de mestrado acadêmico em contabilidade a partir da avaliação da capes: uma análise longitudinal

Opportunities for improvement in academic master programs in accounting from the piche assessment: a longitudinal analysis

Oportunidades de melhoria nos programas de mestrado acadêmico em contabilidade a partir da avaliação da capes: uma análise longitudinal

Opportunities for improvement in academic master programs in accounting from the piche assessment: a longitudinal analysis

Silvana Anita Walter^I; Maria José Carvalho de Souza Domingues^II; Clésia Ana Gubiani^III; Vanderlei dos Santos^IV

^IUniversidade Estadual do Oeste do Paraná (UNIOESTE), Marechal Cândido Rondon, PR, Brasil. Contato com a autora: [e-mail]

^IIUniversidade Regional de Blumenau (FURB). Blumenau, SC, Brasil. Contato com a autora: [e-mail]

^IIIUniversidade Comunitária da Região de Chapecó (UNOCHAPECÓ). Chapecó, SC, Brasil. Contato com a autora: [e-mail]

^IVUniversidade do Estado de Santa Catarina (UDESC). Blumenau, SC, Brasil. Contato com o autor: [e-mail]

RESUMO

O objetivo desta pesquisa foi analisar, a partir da avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior CAPES), os pontos fortes e as oportunidades de melhorias dos cursos de mestrado acadêmico em Ciências Contábeis, nos triênios 1998-2000, 2001-2003 e 2004-2006. Realizou-se uma pesquisa descritiva e longitudinal com coleta de dados por meio de pesquisa documental. Para análise dos dados, empregou-se a técnica de importância versus desempenho. Observou-se que os programas melhoraram seu desempenho ao longo das avaliações em todas as prioridades de melhoria. Os principais pontos fortes identificados foram Corpo Discente, Teses e Dissertações; Produção Intelectual; e Corpo Docente. A aplicação da análise de importância versus desempenho mostrou-se adequada, uma vez que indicou as oportunidades de melhoria e os pontos fortes dos programas. A metodologia utilizada pode servir de norte para que cada programa analise seu desempenho em relação aos pesos atribuídos pela CAPES, bem como comparativamente ao desempenho dos demais programas avaliados.

Palavras-chave: Avaliação CAPES. Mestrados acadêmicos. Ciências contábeis.

ABSTRACT

The aim of this research was to examine, based on the evaluation of the Personnel Improvement Coordination of Higher Education (CAPES), the strengths and improvement opportunities of the Academic Master programs in Accounting Sciences, in the 1998-2000, 2001-2003 and 2004-2006 trienniums. A descriptive-longitudinal research was carried out, with data collection through documental research. For data analysis, the technique of importance versus performance was used. It was observed that the programs improved their performance during the assessments in all the improvement priorities. The main strengths identified were Students Body, Thesis and Dissertations; Intellectual Production; and Faculty. The analysis application of importance versus performance proved to be adequate, since it indicated the improvement opportunities and the programs strengths. The used methodology can serve as a direction so that each program analyzes its performance in relation to the weights attributed by CAPES, as well as comparatively to other evaluated programs performance.

Key words: CAPES assessment. Academic masters. Accounting sciences.

INTRODUÇÃO

No Brasil, os cursos de pós-graduação surgiram em 1961 (IGARASHI et al, 2008). Na área de contabilidade, todavia, o primeiro curso de mestrado surgiu em 1970 e o de doutorado, em 1978, ambos oferecidos pela Faculdade de Economia, Administração e Contabilidade, da Universidade de São Paulo (FEA/USP). Atualmente, existem, no Brasil, 18 programas de mestrado na área de contabilidade, entre acadêmicos e profissionalizantes, sendo que alguns tiveram início a partir do ano 2000, bem como quatro programas de doutorado (CAPES, 2010c).

Todos os programas de pós-graduação stricto sensu brasileiros, inclusive os de contabilidade, são avaliados pela CAPES. Os resultados obtidos nessa avaliação podem, inclusive, ocasionar o descredenciamento de programas pelo Ministério da Educação. Sabe-se que esse sistema de avaliação pode receber melhorias e que muitas são as sugestões oferecidas por profissionais da área. Essa preocupação também é recorrente na CAPES, visto que ocorreram e continuam ocorrendo mudanças no sistema de avaliação, principalmente a partir da avaliação realizada em 2004, relativa ao triênio 2001-2003. Apesar das melhorias que muitos pesquisadores sugerem, é inegável a importância dessa avaliação para a qualidade dos programas stricto sensu.

Nesse contexto, é fundamental que os programas stricto sensu brasileiros estejam atentos aos critérios de avaliação empregados pela CAPES para que possam tanto realizar melhorias quanto obter um bom resultado nessa avaliação. O resultado dessa avaliação pode fornecer aos programas indicações de melhorias a serem realizadas, visando ampliar sua eficácia e sua qualidade. Assim, é possível identificar oportunidades de melhoria por meio da análise das avaliações desses cursos, dos quesitos (e dos itens que os compõem) que se destacam nessas avaliações e dos que necessitam de maior atenção de seus gestores.

Apesar de existirem estudos anteriores a respeito das avaliações realizadas pela CAPES nos programas de pós-graduação – Crubellate, Mello e Valenzuela (2007), Viana, Mantovani e Vieira (2008), Brandão, Silveira e Urdan (2009), Maccari, Lima e Riccio (2009), Mello, Crubellate e Rossoni (2010) –, não se identificou algum que utilizasse os resultados dessa avaliação para apontar aos programas oportunidades de melhoria. É possível que isso ocorra porque esses resultados são compreendidos como autossuficientes no apontamento dos aspectos que necessitam de alterações, não demandando métodos complementares para ordenar as prioridades de melhorias. A esse respeito, esta pesquisa sugere que esses resultados sejam analisados à luz do método de importância versus desempenho, ou seja, cruzando-se a importância com o desempenho de cada item da avaliação.

No contexto exposto, se realizou a pesquisa ora apresentada cuja questão norteadora foi: Quais oportunidades de melhoria podem ser encontradas pelos cursos de mestrado acadêmico em Ciências Contábeis à luz da avaliação da CAPES em diferentes triênios? Quanto ao objetivo da pesquisa, foi analisar, a partir da avaliação da CAPES, os pontos fortes e as oportunidades de melhorias dos cursos de mestrado acadêmico em contábeis nos triênios 1998-2000, 2001-2003 e 2004-2006. Para tal, se fez uma análise longitudinal de importância versus desempenho (MARTILLA; JAMES, 1977) tendo como base os critérios e os resultados das avaliações realizadas pela CAPES nos três períodos e por ela disponibilizadas.

Estruturou-se, então, a pesquisa realizada neste artigo, o qual apresenta, além desta introdução, mais quatro seções assim distribuídas: segunda seção, que trata do embasamento teórico acerca da avaliação de programas stricto sensu; terceira, que discorre sobre o delineamento metodológico empregado; quarta, que traz os dados coletados e a análise dos mesmos por meio das técnicas de análise cruzada entre importância versus desempenho; e quinta, que apresenta as considerações finais.

2 AVALIAÇÃO DOS PROGRAMAS STRICTO SENSU

A CAPES implantou, no Brasil, o sistema de avaliação da pós-graduação stricto sensu em 1976 (CAPES, 2010a). Isso porque, nesse período, houve uma expansão no número de cursos de pós-graduação, o que gerou questionamentos em relação à qualidade dos programas. Esse processo foi consolidado com a implementação, em 1982, do II Plano Nacional de Pós-Graduação (PNPG) (IGARASHI et al, 2008). Até o ano de 1998, cada programa recebia um conceito de A até E, de acordo com o atendimento aos critérios estabelecidos por cada comitê de área. A partir de 1998, a CAPES adotou uma escala que vai de um a sete, sendo que programas com conceitos seis e sete são considerados de nível internacional (STEINER, 2005).

Scriven (1991) destaca que a avaliação é o processo de estabelecer a importância ou o valor de algo. No contexto do ensino, a avaliação possui o objetivo legítimo de contribuir para o êxito do ensino, ou seja, para a construção dos saberes e das competências dos alunos (HADJI, 2001). Nesse sentido, a avaliação, no ensino, necessita ser um processo contínuo que visa fornecer informações para a tomada de decisão. A avaliação, portanto, consiste em um instrumento apropriado para aperfeiçoar programas de ensino.

A CAPES (2010a) apresenta como alguns dos objetivos do sistema de avaliação dos cursos de pós-graduação: (a) instituir o padrão de qualidade exigido dos cursos de mestrado e de doutorado e identificar os cursos que atendem a tal padrão; (b) estimular a evolução de todo o Sistema Nacional de Pós-Graduação (SNPG) e de cada programa em particular, antepondo-lhes metas e desafios que expressem os avanços da ciência e tecnologia na atualidade e o aumento da competência nacional nesse campo; (c) colaborar para o aprimoramento de cada programa de pós-graduação, assegurando-lhe o parecer criterioso de uma comissão de consultores sobre os pontos fracos e fortes de seu projeto e de seu desempenho e uma referência sobre o estágio de desenvolvimento em que se encontra; e (d) cooperar para o aumento da eficiência dos programas no atendimento das necessidades nacionais e regionais de formação de recursos humanos de alto nível, entre outros.

A avaliação dos programas de pós-graduação realizada pela CAPES visa ao aprimoramento desses programas para, assim, fomentar a pesquisa científica e formar docentes com alto nível de qualidade. Scriven (1993) comenta que a avaliação dos programas consiste no reconhecimento do mérito, da importância ou do valor de um programa, norma ou produto no tocante a sua eficiência e eficácia em relação aos interessados.

Russ-Eft e Preskill (2001) explicam que a avaliação de programas pode ser compreendida como uma coleção sistemática de informações sobre as atividades, as características e os resultados dos programas para fazer julgamentos sobre eles, aumentar sua eficácia e eficiência e/ou informar decisões sobre o futuro dos mesmos. Tal entendimento do autor apresenta-se alinhado com a sistemática de avaliação dos cursos de pós-graduação adotada pela CAPES.

O sistema de avaliação da CAPES compreende dois processos conduzidos por comissões de consultores vinculados a instituições de diferentes regiões do país: a Avaliação dos Programas de Pós-Graduação e a Avaliação das Propostas de Cursos Novos de Pós-Graduação. A primeira abrange a realização do acompanhamento anual e da avaliação trienal do desempenho de todos os programas e dos cursos que integram o SNPG. Os resultados desse processo, expressos pela atribuição de notas na escala de "1" a "7", fundamentam a deliberação do Conselho Nacional de Educação e do Ministério da Educação (CNE/MEC) sobre quais cursos obterão a renovação de "reconhecimento", a vigorar no triênio subsequente. Já a Avaliação das Propostas de Cursos Novos de Pós-Graduação é parte dos procedimentos estabelecidos para a admissão de novos programas e cursos ao SNPG. Ao avaliar as propostas de cursos novos, a CAPES averigua a qualidade de tais propostas e se atendem ao padrão de qualidade demandado desse nível de formação, bem como encaminha os resultados desse processo para, nos termos da legislação vigente, fundamentar a deliberação do CNE/MEC sobre o reconhecimento de tais cursos e sua incorporação ao SNPG (CAPES, 2010a). A CAPES (2010a, p. 1) ressalta que

os dois processos [...] são alicerçados em um mesmo conjunto de princípios, diretrizes e normas, compondo, assim, um só sistema de avaliação, cujas atividades são realizadas pelos mesmos agentes: os representantes e consultores acadêmicos.

No processo de avaliação realizado pela CAPES, são consideradas as diretrizes por área para definir "os quesitos, os indicadores, os parâmetros, os perfis dos programas e outras orientações a serem observadas no triênio, bem como a forma de aplicação da escala de classificação utilizada" (IGARASHI et al, 2008, p. 122). Quanto aos critérios das avaliações, a CAPES realizou algumas alterações. No triênio 1998-2000, o formulário de avaliação da área de administração, turismo e contabilidade era composto por 30 itens organizados em sete quesitos: proposta do programa; corpo docente; atividade de pesquisa; atividade de formação; corpo discente; teses e dissertações; e produção intelectual. No triênio seguinte (2001-2003), foram acrescentados dois novos itens, mas os quesitos permaneceram inalterados. Já no triênio 2004-2006, a avaliação passou a ser composta por 23 itens distribuídos em cinco quesitos: proposta do programa; corpo docente; corpo discente, teses e dissertações; produção intelectual; inserção social. Nos três períodos, a cada quesito (exceto o primeiro) e a cada item foi atribuído um peso na avaliação. Os avaliadores atribuem um conceito (muito bom; bom; regular; fraco; ou deficiente) a cada um dos itens da avaliação (CAPES, 2010b).

Uma vez apresentadas as informações sobre a avaliação, pela CAPES, dos programas de pós-graduação stricto sensu, na próxima seção, se discorre sobre a metodologia empregada na pesquisa que se realizou.

3 PROCEDIMENTOS METODOLÓGICOS DA PESQUISA

Esta pesquisa caracteriza-se como descritiva, que tem por objetivo a descrição de características do fenômeno estudado ou o estabelecimento de relações entre as categorias analíticas (GIL, 1999). A perspectiva temporal foi longitudinal, sendo que a análise recaiu sobre três períodos de tempo distintos: de 1998 a 2000, de 2001 a 2003 e de 2004 a 2006.

O universo da pesquisa consistiu em sete programas de mestrado acadêmico em Ciências Contábeis avaliados pela CAPES no triênio 1998-2000: Universidade de Brasília (UNB) – Programa Multi-Institucional e Inter-Regional, Universidade Federal do Rio de Janeiro (UFRJ), Universidade do Estado do Rio de Janeiro (UERJ), Pontifícia Universidade Católica de São Paulo (PUC/SP), Universidade de São Paulo (USP), Universidade do Vale do Rio dos Sinos (UNISINOS) e Fundação Visconde de Cairu (FVC). Do triênio 2001-2003, analisaram-se dez programas, os quais se somaram aos sete já avaliados: Centro Universitário Álvares Penteado (UNIFECAP), Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia e Finanças (FUCAPE) e Universidade Federal do Ceará (UFC). Quanto ao triênio 2004-2006, avaliaram-se treze programas, sendo os mesmos avaliados no triênio anterior, exceto FVC, aos quais se somaram a Universidade de São Paulo/Ribeirão Preto (USP/RP), Universidade Regional de Blumenau (FURB), Universidade Federal do Paraná (UFPR) e Universidade Federal de Santa Catarina (UFSC) (CAPES, 2010d).

Além dos programas citados, no Brasil, existem mais seis que surgiram após 2004 e que não foram avaliados pela CAPES até o momento: Universidade Federal de Pernambuco (UFPE), Universidade Federal da Bahia (UFBA), Universidade Federal do Amazonas (UFAM), Universidade Federal de Minas Gerais (UFMG), Universidade Presbiteriana Mackenzie (MACKENZIE) e Fundação Instituto Capixaba de Pesquisa em Contabilidade Economia e Finanças (FUCAPE). Ressalta-se que os programas de mestrados que se avaliou são todos acadêmicos e que se excluíram do universo da pesquisa os profissionalizantes em virtude de a ficha de avaliação desses programas apresentar critérios diferentes.

Realizou-se a coleta dos dados por meio de pesquisa documental a partir dos formulários de critérios e das avaliações dos programas de mestrado acadêmico em Ciências Contábeis, obtidos no sítio da CAPES (CAPES, 2010d).

Uma vez coletados os dados, procedeu-se à análise de importância versus desempenho, que é uma técnica de identificação de oportunidades de melhoria, introduzida originalmente por Martilla e James (1977). Essa técnica de análise realiza o cruzamento entre a importância e o desempenho atual de cada item avaliado, permitindo obter uma visão sobre quais atributos do serviço necessitam ser melhorados. Para a realização dessa análise, construíram-se, com o auxílio de uma planilha eletrônica, matrizes bidimensionais de importância versus desempenho, as quais se representaram por meio de gráficos de dispersão. Nas matrizes, mostrou-se a importância do item ou do quesito pelo eixo y, e o desempenho, pelo eixo x. Dividiu-se a matriz em quatro quadrantes, de acordo com a média do desempenho e com a média da importância de todos os itens ou quesitos que a integram. O atributo situado no Quadrante I possui alta importância e alto desempenho, o que representa um ponto forte e uma possível vantagem competitiva. Nesse caso, a indicação a ser feita à instituição é que mantenha o bom trabalho. Já para um atributo com alta importância, mas baixo desempenho, no caso, situado no Quadrante II, o indicado é que a ele seja dada atenção imediata. Para ampliar o desempenho geral, Garver (2003) sugere a melhoria desses atributos. O Quadrante III, por sua vez, contém os atributos com baixa importância e baixo desempenho, os quais são prioridades secundárias de investimento, enquanto o Quadrante IV mostra os atributos com alto desempenho, porém com baixa importância. Nos casos em que a diferença do valor (importância ou desempenho) do item ou do quesito para a média foi inferir a 0,10, para mais ou para menos, optou-se por considerá-lo como "próximo à média".

Primeiramente, desenvolveu-se uma matriz para os quesitos avaliados pela CAPES nos três triênios analisados conjuntamente para uma análise comparativa entre eles. Para tal, consideraram-se os valores do desempenho como os conceitos atribuídos pelos avaliadores para cada quesito, convertendo-os em uma escala de 1 a 5: muito bom (5), bom (4), regular (3), fraco (2) e deficiente (1). A partir disso, calculou-se a média obtida por cada quesito em cada triênio a partir das avaliações de cada programa. Já para os valores da importância, empregaram-se os pesos definidos previamente pela CAPES para cada quesito, ou seja, um quesito com peso 25% teve a importância de 2,5.

Visando aprofundar as análises, também se desenvolveram três matrizes com os itens avaliados em cada quesito, divididos em triênios, haja vista que isso permite uma análise mais minuciosa dos pontos fortes e oportunidades de melhoria em cada triênio. Assim, para os valores de desempenho, também se converteram os conceitos atribuídos pelos avaliadores a cada item para uma escala de 1 a 5 e calculou-se a média de cada item entre os programas. Para os valores da importância, criou-se um critério empregando-se os pesos definidos previamente pela CAPES para cada item e cada quesito. Como os itens e os quesitos possuem pesos diferenciados calculou-se, primeiramente, a importância individual de cada item na escala percentual (multiplicando o peso do critério pelo peso do item) e, posteriormente, se transformou essa importância para uma escala de 1 a 5, ou seja, mapeou-se o domínio x de um intervalo [x_min; x_max] para uma imagem y de intervalo [y_min; y_max] por meio da equação:

Descrevem-se, na próxima seção, os dados e se faz a análise dos mesmos.

4 DESCRIÇÃO E ANÁLISE DOS DADOS

Inicia-se a descrição e a análise dos dados com a apresentação, na Figura 1, da matriz de importância e de desempenho para os quesitos avaliados nos três triênios.

Por meio da Figura 1, observa-se que um dos pontos fortes (Quadrante I) dos programas, segundo a avaliação da CAPES, no primeiro triênio (1998-2000), foi o Corpo Docente (quesito 1). No segundo triênio (2001-2003), registrou-se uma queda no desempenho do Corpo Docente, quesito 7, o qual passou a integrar o Quadrante II, exibindo alta importância e baixo desempenho, o que o caracteriza como prioridade de melhoria. No último triênio (2004-2006), esse mesmo quesito, quesito 13, voltou a fazer parte do Quadrante I, apresentando, todavia, níveis de importância e de desempenho mais elevados do que no primeiro triênio, configurando-se como um dos principais pontos fortes do período.

A Atividade de Pesquisa, quesito 2, no triênio 1998-2000, apresentou baixa importância e desempenho próximo à média. No triênio 2001-2003, esse quesito (quesito 8), sofreu uma diminuição em seu desempenho, passando a integrar o Quadrante III da matriz, ou seja, apresentou baixo desempenho e baixa importância, sendo uma prioridade de melhoria secundária. Para o triênio 2004-2006, Atividade de Pesquisa, deixou de ser analisado.

Atividade de Formação, quesito 3, no primeiro triênio, e quesito 9, no segundo triênio, apresentou baixo desempenho e baixa importância, configurando-se no Quadrante IV da Figura 1. Esse quesito também deixou de ser avaliado no terceiro triênio.

No triênio 1998-2000, o Corpo Discente, quesito 4, exibiu baixo desempenho e baixa importância, integrando o Quadrante III de prioridades de melhoria secundárias. Para o triênio 2001-2003, o Corpo Discente, quesito 10, obteve uma ampliação em seu desempenho, passando a fazer parte do Quadrante IV (ponto forte secundário). No triênio 2004-2006, esse quesito foi agrupado a outro, formando o quesito 14: Corpo Discente, Teses e Dissertações. Assim, teve sua importância ampliada para o terceiro triênio, passando a se configurar no Quadrante I, com alta importância e alto desempenho, ou seja, um ponto forte dos programas. Já Teses e Dissertações – quesito 5, no primeiro triênio –, localizava-se no Quadrante I, apresentando-se como prioridade de melhoria, em virtude de sua alta importância e baixo desempenho no período. Na sequência, no segundo triênio, Teses e Dissertações, quesito 11, obteve uma melhora em seu desempenho, passando a integrar o Quadrante I (pontos fortes), assim como no triênio seguinte, ao ser agrupado com o quesito Corpo Discente.

Produção Intelectual, quesito 6 no triênio 1998-2000, apresentava-se como prioridade de melhoria, fazendo parte do Quadrante II. No triênio seguinte (2001-2003), Produção Intelectual, quesito 12, obteve uma melhora em seu desempenho, mas não suficiente para ultrapassar a média, de forma que permaneceu no Quadrante II. No triênio 2004-2006, Produção Intelectual, quesito 15, ampliou seu desempenho de forma mais considerável, atingindo o Quadrante I, o que fez com que passasse a ser considerado um ponto forte.

Tem-se, ainda, Inserção Social, quesito 16, que começou a ser avaliado no triênio 2004-2006 e que apresentou baixa importância e desempenho próximo à média.

Por meio dos dados apresentados, observa-se que todas as prioridades de melhoria encontradas para os programas obtiveram melhora em seu desempenho ao longo das avaliações, de forma a passarem a se categorizar como pontos fortes, ao menos se considerando a média geral dos três triênios. Para uma análise mais detalhada e pontual dos itens que compõem os quesitos, bem como tomando como parâmetro a média de cada triênio, em particular nas figuras 2, 3 e 4, apresentam-se as matrizes de importância e de desempenho para os itens avaliados em cada triênio separadamente. Assim, na Figura 2, destaca-se a matriz de importância e desempenho dos itens que compõem cada quesito, avaliados no triênio 1998-2000.

No Quadrante II, da Figura 2, situaram-se os itens: (a) Qualidade dos veículos ou meios de divulgação (item 23); (b) Quantidade e regularidade em relação à dimensão do NRD6 e distribuição da autoria entre os docentes (item 24); (c) Tempo médio de titulação de bolsistas, tempo médio de bolsa; e Relação entre os tempos médios de titulação de bolsistas e de não bolsistas (item 19); (d) Número de titulados em relação à dimensão do NRD6 e Participação de outros docentes (item 20); e (e) Dimensão do NRD6 relativamente ao corpo docente e Atuação do NRD6 no Programa (item 2). Por apresentarem alta importância e baixo desempenho, esses quesitos podem ser considerados como os pontos críticos dos programas na avaliação do triênio 1998-2000. Nesse sentido, esses itens, principalmente o 23 e o 24, deveriam ser a primeira prioridade de melhorias para os programas, visando a uma melhor avaliação nos triênios seguintes.

Outro item que se identificou com alta importância foi Produção técnica (item 26), cujo desempenho se apresentou próximo à média. Esse resultado o configura como segunda prioridade de melhoria no período, principalmente para programas que receberam notas abaixo da média que é de 3,56.

Já os itens (a) Número de titulados e proporção de desistências e abandonos em relação à dimensão do corpo discente (item 16); (b) Composição e atuação do corpo docente; Vínculo institucional e dedicação (item 1); e (c) Número de discentes-autores da pós-graduação em relação à dimensão do corpo discente [e participação de discentes-autores da graduação] (item 17) apresentaram importância próximo à média. Destes, o item 16 apresentou baixo desempenho no período, configurando-se como terceira prioridade de melhoria. Os demais itens (1 e 17) também apresentam espaço para melhorias em seu desempenho, principalmente para os programas que obtiveram nota 3 (abaixo da média).

No Quadrante III, têm-se os itens com baixo desempenho e baixa importância: (a) Atividades letivas e de orientação nos cursos de graduação (item 13); (b) Dimensão do corpo discente em relação à dimensão do NRD6 (item 14); (c) Quantidade de orientadores do NRD6 relativamente à dimensão do corpo docente e Distribuição da orientação entre os docentes e número médio de orientandos por docente (item 12); e (d) Adequação da quantidade de Linhas e Projetos de Pesquisa em andamento em relação à dimensão e à qualificação do NRD6 (item 8). Como esses itens possuem um peso menor na avaliação da CAPES, podem ser considerados como quarta prioridade de melhoria, devendo receber investimentos depois que as demais oportunidades de melhoria já estiverem com desempenho mais elevado.

Em relação ao Quadrante I, podem ser observados os itens: (a) Abrangência, especialização do NRD6 relativamente às Áreas de Concentração e Linhas de Pesquisa; e Qualificação do NRD6 (item 3); e (b) Qualificação das Bancas Examinadoras e Participação de membros externos (item 21). Esses itens apresentam, portanto, alta importância e alto desempenho, caracterizando-se como os pontos fortes dos programas no triênio 1998-2000. No que se refere a esses itens, a recomendação é manter o bom desempenho, visto que, diante de sua alta importância, uma diminuição no desempenho pode prejudicar amplamente o conceito dos cursos. Também se observa uma margem de melhoria no desempenho desses itens (quinta prioridade), visto que alguns programas obtiveram notas 3 e 4.

Verificam-se, ainda, itens com baixa importância e desempenho próximo à média: (a) Intercâmbio ou renovação do corpo docente e Participação de outros docentes (item 4); (b) Exogenia do NRD6 (item 5); (c) Vínculo entre Linhas e Projetos de Pesquisa (item 7); e (d) Adequação dos tipos de produção à Proposta do Programa e vínculo com as Áreas de Concentração, Linhas e Projetos de Pesquisa ou Teses e Dissertações (item 22). Tais itens configuram-se como sexta prioridade de melhoria, principalmente para os programas que obtiveram notas iguais ou inferiores a 3.

Entre os itens com baixa importância e alto desempenho no triênio 1998-2000. (Quadrante IV), observam-se: (a) Número de orientandos em relação à dimensão do corpo discente (item 15); (b) Vínculo das teses e dissertações com Áreas de Concentração e com Linhas e Projetos de Pesquisa; adequação ao nível dos cursos (item 18); (c) Adequação e abrangência da Estrutura Curricular relativamente à Proposta do Programa e às suas Áreas de Concentração; e Adequação e abrangência das disciplinas ministradas em relação às Linhas e Projetos de Pesquisa (item 10); (d) Participação do corpo discente nos Projetos de Pesquisa (item 9); (e) Distribuição da carga letiva e carga horária média e Participação de outros docentes (item 11); (f) Adequação e abrangência dos Projetos e Linhas de Pesquisa em relação às Áreas de Concentração (item 6); e (g) Autoria ou coautoria de discentes (item 25). Nota-se que esse é o quadrante com maior número de itens, o que revela que os programas apresentavam alto desempenho em itens que não possuíam peso elevado na avaliação da CAPES nesse período, considerados última prioridade de melhoria.

Na Figura 3, exibe-se a matriz de importância e de desempenho dos itens avaliados no triênio 2001-2003.

Comparando-se os resultados apresentados na Figura 2, relativos ao triênio 1998-2000, aos da Figura 3, nota-se como itens de alta importância e baixo desempenho (Quadrante II): (a) Qualidade dos veículos ou meios de divulgação (item 23); (b) Quantidade e regularidade em relação à dimensão do NRD6; distribuição da autoria entre os docentes (item 24); (c) Tempo médio de titulação de bolsistas; tempo médio de bolsa; e Relação entre os tempos médios de titulação de bolsistas e de não-bolsistas (item 19); e (d) Dimensão do NRD6 relativamente ao corpo docente e Atuação do NRD6 no Programa (item 2). Enquanto o quesito 19 diminuiu seu desempenho, a média de notas obtidas para os quesitos 23, 24 e 2 obteve uma pequena melhora, de 1998-2000 a 2001-2003, a qual, contudo, não foi suficiente para melhorar consideravelmente o desempenho dos programas nesses itens. No triênio 2001-2003 (Figura 3), também se tem Produção técnica (item 26) no Quadrante II, sendo que, no triênio anterior (Figura 2), esse se apresentava próximo à média de desempenho. Apesar de o programa que obteve nota 1, no triênio 1998-2000, ter elevado seu desempenho para 2, é perceptível que houve, em geral, uma diminuição no desempenho em relação a esse item, motivada pela diminuição na nota obtida por alguns programas, sendo que um deles decaiu da nota 5 (1998-2000) para 2 (2001-2003). Esses itens – 23, 24, 19, 2 e 26 – são, portanto, as prioridades principais de melhoria, especialmente o 23 e o 24, que apresentam a importância mais elevada e os desempenhos mais baixos do período 2001-2003.

Como segunda prioridade de melhoria (Quadrante III), verifica-se que permaneceram com baixo desempenho e baixa importância: (a) Adequação da quantidade de Linhas e Projetos de Pesquisa em andamento em relação à dimensão e à qualificação do NRD6 (item 8); e (b) Dimensão do corpo discente em relação à dimensão do NRD6 (item 14). Contudo, a Figura 3 também permite observar que outros itens passaram a fazer parte desse quadrante no triênio 2001-2003: (a) Participação do corpo discente nos Projetos de Pesquisa (item 9); (b) Autoria ou coautoria de discentes (item 25); (c) Apoio institucional e de infraestrutura à pesquisa (da IES ou de agências externas) (item 27); e (d) Intercâmbio ou renovação do corpo docente e Participação de outros docentes (item 4). Os dois primeiros itens (9 e 25) tiveram uma diminuição no desempenho do primeiro para o segundo triênio, passando do Quadrante IV (ponto forte secundário) para o III (prioridade de melhoria secundária). O terceiro item (27) foi acrescentado na avaliação do triênio 2001-2003, não existindo no período anterior. Já o último (4) permaneceu basicamente com o mesmo desempenho nos dois triênios. Contudo, como a média de desempenho que demarca a divisão dos quadrantes se ampliou do primeiro para o segundo triênio, o item 4 deixou de ter o desempenho próximo da média (Figura 2) e passou para um baixo desempenho em relação à média (Figura 3). Dessa forma, não acompanhou a tendência de melhoria entre os dois períodos.

No Quadrante I, permanecem: (a) Abrangência, especialização do NRD6 relativamente às Áreas de Concentração e Linhas de Pesquisa; e Qualificação do NRD6 (item 3); e (b) Qualificação das Bancas Examinadoras e Participação de membros externos (item 21), ou seja, continuam com alta importância e alto desempenho. Todavia, observa-se que também há o item Número de titulados em relação à dimensão do NRD6 e Participação de outros docentes (item 20) nesse quadrante. No triênio anterior (Figura 2), o item 20 se localizava no Quadrante II (alta importância e baixo desempenho), o que denota que os programas conseguiram melhorar seu desempenho nesse item. Apesar de serem os pontos fortes do período, nota-se que ainda há margem de melhoria para esses itens (3, 20 e 21), principalmente para os programas que receberam notas abaixo da média, caracterizando-se como terceira prioridade.

Igualmente se nota que permanecem com baixa importância e desempenho próximo à média: Exogenia do NRD6 (item 5) e Vínculo entre Linhas e Projetos de Pesquisa (item 7). Também Quantidade de orientadores do NRD6 relativamente à dimensão do corpo docente (item 12) e Atividades letivas e de orientação nos cursos de graduação (item 13) tiveram uma melhoria no desempenho, deixando o Quadrante III, na Figura 2, e passando a apresentar desempenho próximo à média na Figura 3. Já Adequação e abrangência dos Projetos e Linhas de Pesquisa em relação às Áreas de Concentração (item 6) integrava o Quadrante IV no triênio anterior, mas teve uma diminuição em seu desempenho, apresentando-se próximo à média. Assim, os itens 5, 6, 7, 12 e 13 configuram-se como quarta prioridade de melhoria.

Em relação à quinta prioridade de melhoria, têm-se, nas figuras 2 e 3, com alto desempenho e importância próximo à média, o item Composição e atuação do corpo docente; vínculo institucional e dedicação (item 1). Além desse, na Figura 3, se observa: (a) Número de titulados e proporção de desistências e abandonos em relação à dimensão do corpo discente (item 16), que estava com baixo desempenho no triênio 1998-2000; e (b) Número de discentes-autores da pós-graduação em relação à dimensão do corpo discente [e participação de discentes-autores da graduação] (item 17), que estava com desempenho próximo à média, na Figura 2. Esses dois itens (16 e 17), portanto, tiveram uma elevação em seu desempenho de 1998-2000 para 2001-2003, não obstante ainda possuam espaço para melhorias.

Finalmente, permanecem, nos dois triênios, no Quadrante IV (última prioridade de melhoria): (a) Número de orientandos em relação à dimensão do corpo discente (item 15); (b) Adequação e abrangência da Estrutura Curricular relativamente à Proposta do Programa e às suas Áreas de Concentração; e Adequação e abrangência das disciplinas ministradas em relação às Linhas e Projetos de Pesquisa (item 10); (c) Vínculo das teses e dissertações com Áreas de Concentração e com Linhas e Projetos de Pesquisa; adequação ao nível dos cursos (item 18); e (d) Distribuição da carga letiva e carga horária média e Participação de outros docentes (item 11). Além disso, o item Adequação dos tipos de produção à Proposta do Programa e vínculo com as Áreas de Concentração, Linhas e Projetos de Pesquisa ou Teses e Dissertações (item 22) teve uma melhora de desempenho de 1998-2000 para 2001-2003, deixando sua posição de próximo à média, passando a integrar o Quadrante IV.

Na Figura 4, destaca-se a matriz de importância e de desempenho para 2004-2006.

No Quadrante I, da Figura 4, observa-se o item 12, Publicações qualificadas, que obteve nota 5 na maioria dos programas e possui a importância mais elevada do período, o que permite considerá-lo como o ponto forte dos programas nessa avaliação, bem como recomendar que mantenha o bom desempenho. Contudo, aos dois programas que receberam nota 3, esse item se configura como prioridade de melhoria essencial para que, no próximo triênio, se torne um de seus pontos fortes.

No Quadrante II, têm-se os itens Distribuição de publicações (item 13) e Participação dos docentes em pesquisa (item 6), consistindo nas principais prioridades de melhoria para os programas em geral, visto possuírem alta importância e baixo desempenho. Ainda com alta importância, mas com desempenho próximo à média, notam-se: (a) Docentes permanentes (item 2); (b) Impacto regional e nacional do programa (item 16); e (c) Integração do corpo docente permanente com a proposta do programa (item 3), como segunda prioridade de melhoria, principalmente para os programas que apresentaram notas abaixo da média.

Também necessitam de melhorias os itens que apresentaram importância próximo à média e baixo desempenho, quais sejam: (a) Publicações de "alto impacto" (item 15); (b) Orientações de teses e dissertações (item 7); e (c) Outras produções (item 14). Esses itens podem ser considerados como terceira prioridade de melhoria, principalmente o primeiro, que apresentou o menor desempenho do período.

No Quadrante III, têm-se Integração e cooperação com outros programas (item 17) e Transparência do programa na sua atuação (item 18). Por apresentarem baixa importância e baixo desempenho, destacam-se como quarta prioridade de melhoria.

Como quinta prioridade de melhoria, tem-se os itens com importância próxima à média e alto desempenho, especialmente para os programas com notas inferiores à média: Qualidade das teses e dissertações – outros indicadores (item 10) e Formação dos Docentes (item 1). Já para os programas com notas elevadas nos itens 10 e 1, a quinta prioridade passa a ser os itens com baixa importância e desempenho próximo à média: Relação entre orientador e discente (item 8) e Participação dos docentes nas atividades da graduação (item 5).

Por fim, no Quadrante IV, observam-se: (a) Atividade e carga letiva entre os docentes permanentes (item 4); (b) Eficiência na formação de mestres e doutores (item 11); e (c) Participação dos discentes na produção científica (item 9). Por apresentarem baixa importância e alto desempenho, se configuram como última prioridade de melhoria a receber investimento depois que os demais itens ampliarem seu desempenho.

5 CONSIDERAÇÕES FINAIS

O objetivo desta pesquisa foi analisar, a partir da avaliação da CAPES, os pontos fortes e as oportunidades de melhorias dos cursos de mestrado acadêmico em Ciências Contábeis nos triênios 1998-2000, 2001-2003 e 2004-2006. Primeiramente, a análise longitudinal dos quesitos avaliados pelas CAPES nos três triênios permitiu notar que os programas obtiveram êxito em melhorar seu desempenho ao longo das avaliações em todas as prioridades de melhoria que se identificaram por meio da análise de importância versus desempenho (Produção Intelectual; Teses e Dissertações; e Corpo Docente). Consequentemente, os principais pontos fortes identificados na análise conjunta dos três períodos se referem ao último triênio analisado: Corpo Discente, Teses e Dissertações; Produção Intelectual; e Corpo Docente. Nesse sentido, observa-se que os programas em geral estão ampliando seu desempenho, bem como que a CAPES está, por meio de suas avaliações, desempenhando, possivelmente, um papel direcionador, pois de forma gradativa, os critérios mais exigidos têm sido melhorados pelos programas.

Na sequência, analisando-se os itens avaliados em cada triênio separadamente, observou-se que as principais prioridades de melhoria nos três triênios integram o quesito Produção Intelectual. Já os principais pontos fortes passaram de itens relacionados aos quesitos Corpo docente e Teses e Dissertações (1998-2000 e 2001-2003) para o item Publicações Qualificadas, vinculado ao quesito Produção Intelectual (2004-2006). Nota-se, assim, que tanto os principais pontos fortes quanto as prioridades de melhoria estão vinculados ao quesito Produção Intelectual e que isso decorre de sua ampla importância na avaliação da CAPES, bem como que a variação entre ponto forte e prioridade de melhoria dos itens que o integram ocorre em virtude do desempenho apresentado por esses itens.

A pesquisa demonstrou que a aplicação da análise de importância versus desempenho mostrou-se adequada para analisar os pontos fortes e as oportunidades de melhoria para os programas de mestrado acadêmico a partir da avaliação da CAPES. Apesar de todos os quesitos e itens avaliados pela CAPES possuírem peso, indicando que todos necessitam apresentar um bom desempenho para que o programa obtenha um conceito elevado, a análise realizada contribui ao ordenar as prioridades de melhoria conforme o impacto que terão no conceito obtido pelo programa. Assim, os programas podem se concentrar, inicialmente, nos itens e quesitos que mais contribuirão para a elevação do conceito e, posteriormente, nos demais. Além disso, essa metodologia pode servir de norte para que cada programa analise seu desempenho atual ou ao longo do tempo em relação aos pesos atribuídos pela CAPES para cada item e quesito, bem como comparativamente ao desempenho dos outros programas. Essa forma de análise também pode ser empregada para a realização de avaliações internas nos programas, solicitando aos respondentes a indicação do grau de importância e de desempenho de cada item. Isso permite a realização de uma análise conjunta a respeito da opinião eterna (CAPES) e interna (integrantes do programa).

Como limitação deste estudo, aponta-se que alguns itens e quesitos não puderam ser avaliados longitudinalmente, pois foram inseridos ou excluídos da avaliação pela CAPES. Considera-se, entretanto, que essas inserções e exclusões reflitam a intenção contínua da CAPES de aperfeiçoamento dos seus critérios de avaliação. Para futuras pesquisas, sugere-se inserir uma etapa qualitativa, com análise dos pareceres descritivos dos avaliadores.

Recebido: 28 out. 2011

Aprovado: 26 jan. 2012

ERRATA

No volume 18, nº 3, pp. 567-589, artigo OPORTUNIDADES DE MELHORIA NOS PROGRAMAS DE MESTRADO ACADÊMICO EM CONTABILIDADE A PARTIR DA AVALIAÇÃO DA CAPES: UMA ANÁLISE LONGITUDINAL onde se lia como autor do artigo Silvana Anita Walter e sua respectiva afiliação e e-mail, leia-se:

Silvana Anita Walter^I; Maria José Carvalho de Souza Domingues^II; Clésia Ana Gubiani^III; Vanderlei dos Santos^IV

^IUniversidade Estadual do Oeste do Paraná (UNIOESTE), Marechal Cândido Rondon, PR, Brasil. Contato com a autora: [e-mail]

^IIUniversidade Regional de Blumenau (FURB). Blumenau, SC, Brasil. Contato com a autora: [e-mail]

^IIIUniversidade Comunitária da Região de Chapecó (UNOCHAPECÓ). Chapecó, SC, Brasil. Contato com a autora: [e-mail]

^IVUniversidade do Estado de Santa Catarina (UDESC). Blumenau, SC, Brasil. Contato com o autor: [e-mail]

• BRANDÃO, Marcelo Moll; SILVEIRA, Ricardo Boeing da; URDAN, André Torres. Quem vê currículo não vê posição? Um estudo baseado no ranking da Você S/A e no conceito da CAPES/MEC em mestrados profissionais. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 33., 2009, São Paulo. Anais... Rio de Janeiro: ANPAD, 2009.
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR CAPES. Avaliação da pós-graduação Brasília: CAPES, 2010. Disponível em: <www.capes.gov.br>. Acesso em: 15 mar. 2010a.
• ______. Critérios de avaliação Brasília: CAPES, 2010. Disponível em: <www.capes.gov.br>. Acesso em: 23 mar. 2010b.
• ______. Cursos recomendados e reconhecidos Brasília: CAPES, 2010. Disponível em: <www.capes.gov.br>. Acesso em: 17 mar. 2010c.
• ______. Resultados da avaliação de programas Brasília: CAPES, 2010. Disponível em: <www.capes.gov.br>. Acesso em: 13 abr. 2010d.
• CRUBELLATE, João Marcelo; MELLO, Cristiane Marques de; VALENZUELA, Juanita Ester Bruneau. Respostas estratégicas de programas paranaenses de mestrado/doutorado em administração à avaliação da capes: configurando proposições institucionais a partir de redes de cooperação acadêmica. In: ENCONTRO DE ENSINO E PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE, 1., 2007, Recife. Anais... Rio de Janeiro: ANPAD, 2007.
• GARVER, Michael S. Best practices in identifying customer-driven improvement opportunities. Industrial Marketing Management, New York, v. 32, p. 455-466, 2003.
• GIL, Antonio Carlos. Métodos e técnicas de pesquisa social 5. ed. São Paulo: Atlas, 1999.
• HADJI, Charles. A avaliação desmistificada. Porto Alegre: Artmed, 2001.
• IGARASHI, Deisy Cristina Corrêa et al. A qualidade do ensino sob o viés da avaliação de um programa de pós-graduação em contabilidade: proposta de estruturação de um modelo híbrido. Revista de Administração da USP, São Paulo, v. 43, n. 2, p.117-137, abr./maio/jun. 2008.
• MACCARI, Emerson Antonio; LIMA, Manolita Correia; RICCIO, Edson Luiz. Uso do sistema de avaliação por programas da área de administração no Brasil. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 33., 2009, São Paulo. Anais... Rio de Janeiro: ANPAD, 2009.
• MARTILLA, John A.; JAMES, John C. Importance-performance analysis. Journal of Marketing, Chicago, n. 9, p. 41-77, 1977.
• MELLO, Cristiane Marques de; CRUBELLATE, João Marcelo; ROSSONI, Luciano. Dinâmica de relacionamento e prováveis respostas estratégicas de programas brasileiros de pós-graduação em administração à avaliação da capes: proposições institucionais a partir da análise de redes de co-autorias. Revista de Administração Contemporânea, Rio de Janeior, v. 14, n. 3, p. 434-457, maio/jun., 2010.
• RUSS-EFT, Darlene; PRESKILL, Hallie. Evaluation in organizations New York: Basic Books, 2001.
• SCRIVEN, Michael. Evaluation thesaurus 4. ed. California: Sage Publications, 1991.
• ______. Hard – won lessons in program evaluation. New Directions for Program Evaluation San Francisco, n. 58, p. 1-107, 1993.
• STEINER, João Evangelista. Qualidade e diversidade institucional na pós-graduação brasileira. Estudos Avançados, São Paulo, v. 19, n. 54, p. 341-365, 2005.
• VIANA, Adriana Backx Noronha; MANTOVANI, Daielly Melina Nassif; VIEIRA, Amanda Ribeiro. Análise dos programas de pós-graduação avaliados pela CAPES: relação entre conceitos dos programas e índice de publicação. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 32., 2008, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2008.

Datas de Publicação

• Publicação nesta coleção
  13 Nov 2013
• Data do Fascículo
  Nov 2013

Histórico

• Recebido
  28 Out 2011
• Aceito
  26 Jan 2012