A produção intelectual sobre Qualis Periódicos na área de Educação: um diálogo com as pesquisas acadêmicas (2008-2018)

Intellectual production on Qualis Journals in the Education area: a dialogue with academic research (2008-2018)

Producción intelectual sobre revistas Qualis en el área de Educación: un diálogo con la investigación académica (2008-2018)

Resumo

Este texto tem como objetivo apresentar a sistematização acerca do que o campo acadêmico da área de Educação retrata sobre a avaliação da produção intelectual concretizada no Qualis Periódicos. Justifica-se a escolha da temática em virtude de sua centralidade na política da Pós-Graduação brasileira, presente nos atuais sistemas de verificação. Trata-se de uma pesquisa do tipo estado do conhecimento, em que foram escolhidas como unidades de análise a Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) e o Banco de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). A seleção resultou em 13 trabalhos, sendo 5 teses e 8 dissertações. Os dados indicam que o Programa Qualis não é um consenso entre pesquisadores, pois apresenta controvérsias: há aqueles que apontam que ele induz a um produtivismo que compromete a qualidade dos estudos; outros afirmam que ele contribui para a qualidade dos veículos de publicação e das investigações. Diante desse cenário, observa-se que a Capes promove alterações nos instrumentos de avaliação, buscando, a partir de uma lógica incremental e instrumental, qualificar e induzir a produção, inclusive internacionalizada.

Educação; Qualis Periódicos; Produção Científica; Políticas de Avaliação de Periódicos

Abstract

This text aims to present a systematization about what the academic field of Education portrays about the evaluation of the intellectual production concretized in Qualis Journals. The choice of the topic is justified because of its centrality in Brazilian postgraduate policy, present in the current evaluation systems adopted. This is a state-of-the-knowledge survey. The Digital Theses and Dissertations Library (BDTD) and the thesis and dissertations bank of Capes were chosen as units of analysis. The selection resulted in 13 productions, being 5 theses and 8 dissertations. The data indicate that the Qualis Program is not a consensus among the researchers presenting controversies. There are those who point out that the program induces a productivism that compromises the quality of research; and others, that the program contributes to the quality of the publication vehicles and the productions. Given this scenario, it is observed that Capes promotes changes in assessment instruments, seeking, based on incremental and instrumental logic, to qualify and induce production, including internationalization.

Education; Qualis Journals; Scientific Production; Periodic Evaluation Policies

Resumen

Este texto tiene como objetivo presentar la sistematización acerca de lo que retrata el campo académico de la Educación sobre la evaluación de la producción intelectual realizada en Qualis Periódicos. La elección del tema se justifica en virtud de su centralidad en la política de Postgrado brasileña, presente en los sistemas de verificación actuales. Se trata de una investigación del estado del conocimiento, en la que se eligieron como unidades de análisis la Biblioteca Digital Brasileña de Tesis y Disertaciones (BDTD) y el Banco de Tesis y Disertaciones de la Coordinación para el Perfeccionamiento del Personal de Educación Superior (Capes). La selección resultó en 13 trabajos, incluyendo 5 tesis y 8 disertaciones. Los datos indican que el Programa Qualis no es un consenso entre los investigadores, ya que presenta controversias: hay quienes señalan que induce un productivismo que compromete la calidad de los estudios; otros afirman que contribuye a la calidad de los vehículos e investigaciones editoriales. Ante este escenario, se observa que Capes promueve cambios en los instrumentos de evaluación, buscando, con base en una lógica incremental e instrumental, calificar e inducir la producción, incluida la internacionalización.

Educación; Publicaciones periódicas Qualis; Producción Científica; Políticas de Evaluación de Revistas

1 Introdução

A produção intelectual tem ocupado um lugar de destaque na Pós-Graduação, consolidando-se como quesito de maior peso na avaliação feita pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), utilizada como indicador de qualidade, no intuito de efetivar uma política indutora de uma produção que possa ser aferida e atestada por meio de critérios claros e quantificáveis.

Assim, a preocupação com a qualidade da produção de docentes e de discentes da Pós-Graduação pelos órgãos gestores centrais, que já era expressa desde o I Plano Nacional da Pós-Graduação (PNPG), consolida-se com a adoção de avaliações complementares, como é o caso do Programa/Sistema Qualis, tornando-se um processo cada vez mais complexo e interligado.

Este trabalho tem como objetivo realizar um levantamento do que já foi produzido na área de Educação, especificamente em teses e em dissertações sobre o Programa Qualis Periódico e temáticas diretamente relacionadas, visando a desvelar como o campo acadêmico posiciona-se diante do sistema de avaliação da produção intelectual.

Para atender tal objetivo, o texto, inicialmente, tece considerações sobre o Sistema Qualis Periódicos e a importância que ele adquiriu no contexto das políticas de avaliação da Pós-Graduação. Posteriormente, adentra nas considerações metodológicas, para, então, realizar um diálogo com as produções selecionadas, priorizando os seus propósitos, os resultados encontrados e as possíveis contribuições dessas pesquisas.

Tomam-se como base analítica as contribuições sociológicas de Bourdieu (1983) sobre o conceito de campo, por se constituir como elemento teórico que auxilia na compreensão das relações na área da produção científica. Segundo Bourdieu (1983) , o campo científico indica as estratégias e as políticas em função da posição que cada pesquisador ocupa, “não há escolha científica […] que não seja uma estratégia política de investimento objetivamente orientada para a maximização do lucro propriamente científico, isto é, a obtenção do reconhecimento dos pares concorrentes” ( BOURDIEU, 1983 , p. 126-127).

Os participantes vão incorporando o ordenamento e os esquemas do campo em função da posição que ocupam; esta, por sua vez, vai depender também do capital que possui. No campo analisado, destaca-se o capital científico, pois aqueles que se sobressaem em suas pesquisas e consequentes publicações são conhecidos e reconhecidos pelos pares, ampliando o seu poder simbólico dentro do campo.

Nessa perspectiva, é possível realizar uma leitura de como o sistema de avaliação pode criar demandas para disputar e manter as posições nesse ranking , visto que a classificação gera uma lista com os veículos de publicação utilizados na Pós-Graduação brasileira para divulgar a produção científica, denominada de Qualis.

Sendo assim, os conceitos de campo científico, capital científico e poder simbólico auxiliam a compreender como o modelo de avaliação implantado pela Capes exige um investimento no capital científico por parte dos componentes do campo, visto que o campo científico é um mundo social e, como tal, faz imposições, solicitações, sendo um espaço de relações de forças e embates ( BOURDIEU, 1989 ).

No caso específico deste estudo, a análise será realizada em teses de Doutorado e dissertações de Mestrado dos programas de Pós-Graduação em Educação, pois representam o próprio campo.

2 Considerações sobre o Programa Qualis Periódicos

Em 1997, sob a justificativa de rever e ampliar o sistema de avaliação dos programas de Pós-Graduação, logrou-se a “necessidade de introduzir na avaliação um elemento mais visível de aferição de um padrão de maior qualidade” (CAPES, 1995, p. 15). Assim, a Capes convidou um grupo de consultores internacionais para analisar o sistema de avaliação dos programas de Pós-Graduação. Essa equipe realizou diversas recomendações, dentre as quais, a necessidade de formular definições claras para cada um dos conceitos dos programas (CAPES, 1997).

Nessa perspectiva, a Capes criou o Programa Qualis, denominado como o “[...] conjunto de procedimentos utilizados pela Capes para estratificação da qualidade da produção intelectual dos programas de Pós-Graduação. [...]” (CAPES, 2016). O Qualis foi criado com o objetivo de estabelecer padrões de qualidade nas publicações científicas, sendo utilizado pela primeira vez no triênio 1998-2000 ( CAMPOS, 2010 ).

Até o ano de 2006, as dimensões consideradas para a classificação dos periódicos eram a abrangência e a qualidade das publicações. Na primeira, o periódico podia ser considerado como internacional, nacional e local. Já na segunda, classificava-se em A, B e C.

No triênio 2007-2009, houve a necessidade de mudanças, recomendando-se aos comitês de área que tivessem maior rigor na categorização dos estratos. Com a reformulação, as classificações dos periódicos passaram a ser: A1_, que é o estrato mais elevado, seguidos por A2, B1, B2, B3, B4 e B5 e a classe C, que tem peso zero. Em 2010, a avaliação foi realizada por consultores ad hoc ; a partir de 2011, os periódicos passaram a ser analisados por uma comissão constituída para esse fim (CAPES, 2013).

Já em 2012, a Associação Nacional de Pesquisa em Educação (Anped) constituiu uma comissão com o propósito de examinar os periódicos e apresentar uma alternativa ao modelo de avaliação existente. O resultado desse trabalho reorganizou as ações das equipes editoriais, fazendo com que várias revistas melhorassem a sua classificação na avaliação (ANPED, 2015).

Em 2015, após contato do coordenador da área da Capes, solicitando sugestões sobre a temática, a Anped realizou uma nova análise da situação de editoria e dos processos de avaliação dos periódicos da área, propondo critérios que trariam mudanças substantivas à sua gestão (ANPED, 2015). No entanto, na avaliação quadrienal 2013-2016, quando os critérios da área foram reformulados, a alteração foi incremental, visto que poderia prejudicar os programas na avaliação em curso.

Não obstante, o Qualis Periódicos permaneceu como protagonista na ficha de avaliação dos programas. Na composição do formulário utilizado para avaliar os programas de Pós-Graduação na Quadrienal 2017, o quesito produção intelectual evidenciava os periódicos como veículos que impactavam substancialmente o item, posto que seus estratos mais elevados alcançam alta pontuação.

A Capes iniciou várias ações em 2018, com o propósito de aprimorar os processos de avaliação. Foram criados grupos de trabalhos que atuaram em quatro frentes: ficha de avaliação dos programas; qualificação da produção intelectual; avaliação multidimensional e autoavaliação.

Em 2019, foi apresentada uma nova metodologia de avaliação do Qualis Periódicos, que se baseava em quatro princípios: classificação única para cada periódico; classificação feita por áreas-mães; indicadores bibliométricos – será considerado o número de citações do periódico dentro de três bases, Scopus (CiteScore) , Web of Science (Fator de Impacto) e Google Scholar (Índice h5); haverá um Qualis Referência – classificação realizada pela Diretoria de Avaliação da Capes por meio de uso combinado de indicadores bibliométricos e um modelo matemático (CAPES, 2019).

A partir dessas mudanças, os periódicos passam a ser classificados em nove estratos, de A1 a A4, B1 a B4 e C. O estrato referência foi calculado por intervalos iguais (12,5%) ao percentil final, obedecendo ao seguinte cálculo para a estratificação:

1. 87,5 define valor mínimo do 1º estrato (A1)

2. 75 define valor mínimo do 2º estrato (A2)

3. 62,5 define valor mínimo do 3º estrato (A3)

4. 50 define valor mínimo do 4º estrato (A4)

5. 37,5 define valor mínimo do 5º estrato (B1)

6. 25 define valor mínimo do 6º estrato (B2)

7. 12,5 define valor mínimo do 7º estrato (B3)

8. Valor máximo do 8º estrato inferior a 12,5 (B4) (CAPES, 2019, p. 3).

Dessa forma, os periódicos classificados nos estratos “A” ficaram acima da faixa mediana do cálculo realizado, enquanto os periódicos classificados nos estratos “B” ficaram abaixo da faixa mediana.

Em decorrência da centralidade na avaliação da produção intelectual, os periódicos científicos têm sido um dos veículos mais utilizados para a publicação da produção científica, desempenhando um importante papel na divulgação e na comunicação do saber, atestando reconhecimento aos autores e à equipe editorial.

Nessa perspectiva, a avaliação dos periódicos realizada pela Capes induz a qualidade desses veículos, uma vez que estabelece critérios de padronização qualitativos e quantitativos dentro dos vários estratos. Esses parâmetros são definidos com a participação da área, o que valida ainda mais o Qualis Periódicos.

Posto isso, no contexto da Pós-Graduação, o Qualis Periódicos é utilizado como um indicador que influencia na orientação de pesquisadores e de leitores durante a escolha de títulos, nos momentos de submissão de trabalhos e na pesquisa de material bibliográfico.

3 O caminho percorrido e o encontro com o objeto por meio das produções

Elaborou-se um estudo categorizado como estado do conhecimento, denominação para pesquisas “definidas como de caráter bibliográfico [...] reconhecidas por realizarem uma metodologia de caráter inventariante e descritivo da produção acadêmica e científica sobre o termo que busca investigar” ( FERREIRA, 2002 , p. 258). Elegeram-se os repositórios da Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) e o Banco de Teses e Dissertações da Capes como bases de análise para a obtenção dos dados necessários à pesquisa.

O objeto de pesquisa é o Programa Qualis Periódicos, mas foram estabelecidos termos de busca que se relacionam diretamente a ele ou que mantêm uma proximidade temática. Dessa forma, estabeleceram-se os seguintes descritores para o estudo: “Qualis periódicos”, “Pós-Graduação”, “produção intelectual” e “avaliação”.

Na execução da pesquisa, interessava que esses termos aparecessem relacionados. Assim, fez-se uso do operador booleano¹ AND, estabelecendo a seguinte composição: “Qualis periódicos AND avaliação”; “Qualis periódicos AND produção intelectual”; “Qualis AND Pós-Graduação”; “Qualis AND periódicos”; e “Qualis periódicos”. Estruturou-se um recorte temporal de 2000 a 2018, pelo fato de a Capes ter utilizado esse instrumento de avaliação na Pós-Graduação a partir de 2000.

A pesquisa retornou 482 dissertações e 191 teses, totalizando 665 produções. Nesse montante, foi realizado um primeiro filtro por meio dos títulos; caso fosse perceptível não haver relação com a temática em foco, o estudo era descartado. Após esse procedimento e a posterior exclusão dos trabalhos repetidos, passou-se a trabalhar com 80 títulos.

Cabe mencionar que, no início da pesquisa, propôs-se um recorte temporal de 2000 a 2018, mas os resultados indicaram que as produções se iniciaram a partir de 2003, conforme demonstra o Gráfico 1.

Gráfico 1
– Número de produções sobre Qualis Periódicos e temáticas relacionadas (2000-2018)

O novo modelo de avaliação da Pós-Graduação estabelecido pela Capes passou a ser aplicado na trienal 1998-2000. Os dados evidenciam que houve um aumento nas produções ao longo dos períodos e se intensificou à medida que os critérios foram alterados. Há mudanças em curso, mas, efetivamente, a última modificação nos padrões de avaliação da área de Educação data de 2016, quando as pesquisas atingiram o seu maior número. Isso se infere como uma preocupação da área com as formas de avaliação determinadas para a Pós-Graduação e, mais diretamente, com a avaliação da produção intelectual, almejando, por meio da investigação acadêmica, subsídios para o debate no interior do campo.

Após esse primeiro filtro, realizou-se uma leitura preliminar dos 80 resumos, buscando estabelecer uma relação com o objeto pesquisado, sendo selecionadas 37 produções. Acessaram-se esses arquivos por meio dos endereços dos repositórios, escolhendo apenas pesquisas oriundas dos programas de Pós-Graduação em Educação, que somaram 19 trabalhos. Realizada a leitura flutuante dos textos, optou-se por aqueles que estavam diretamente relacionados à temática ( Quadro 1 ).

Quadro 1
– Relação das produções na área de Educação sobre Qualis Periódicos e temáticas relacionadas (2008-2018)

Ano	Instituição	Tipo de documento	Título	Autor	Orientador
2008	Ufscar	Tese	Configuração do campo da Educação no Brasil: estudo bibliométrico da Revista Brasileira de Educação e da Revista Brasileira de História da Educação	Márcia Regina da Silva	Marisa Bittar
2012	USP	Dissertação	O Sistema Qualis e a crise de valores na produção científica brasileira	Ivan Martins Fontes Leichsenring	Nilson Jose Machado
2013	Ufscar	Dissertação	O campo científico, os conflitos e relações de poder no trabalho de professores de uma universidade pública	Carla Fabiana Graetz	Eduardo Pinto e Silva
2013	Uerj	Tese	Publicar ou perecer: uma análise crítico-normativo das características e dos efeitos dos modelos cientométrico e bibliométrico adotados no Brasil	Murilo Mariano Vilaça	Siomara Borba Leite
2014	Ufscar	Dissertação	Uma análise macroeconômica da tendência da Pós-Graduação: um estudo sobre a UFMG	Juliana Borges de Araujo	João dos Reis Silva Junior
2015	UFPR	Tese	Capital intelectual versus capital cultural científico no campo acadêmico da Educação física	Antonino Cezar Leite Lobato	Paulo Sergio de Almeida Correa
2015	UFSJ	Dissertação	Estratificação A1 na Educação: estratégias e legitimidade da Educação em revista	Daniele Alves Ribeiro	Maria do Socorro Alencar Nunes Macedo
2016	Unisinos	Dissertação	Avaliação da Pós-Graduação no Brasil e a produção intelectual: o “modelo Capes” de 1975 a 2002	Michele Dias Medeiros	Viviane Klaus
2016	UFG	Tese	Políticas para Educação superior e suas implicações no trabalho, profissão e profissionalização docente em unidades acadêmicas da Universidade Federal de Goiás (UFG)	Suelaynne Lima da Paz	João Ferreira de Oliveira
2016	Uece	Dissertação	Trabalho, Educação e conhecimento: da universalização do Ensino superior ao produtivismo acadêmico – o ho mo Lat tes	Debora Accioly Dionisio	Maria das Dores Mendes Segundo
2017	UFMS	Tese	A internacionalização da Pós-Graduação em Educação no Brasil: mobilidade e produtividade docente (2010-2016)	Flavia Melville Paiva	Silvia Helena Andrade de Brito
2017	UCB	Dissertação	A Plataforma Sucupira sob a interpretação dos gestores da Pós-Graduação em Educação	Bruno de Macedo Cavalcanti Borges Pimentel	Ranilce Mascarenhas Guimaraes Iosif
2018	Unicamp	Dissertação	Avaliação e análise da produção científica dos Qualis Periódicos nacionais sobre a temática de estado e políticas educacionais	Danielle Cristina Souza de Andrade	Débora Cristina Jeffrey

• Ufscar: Universidade Federal de São Carlos; USP: Universidade de São Paulo; Uerj: Universidade do Estado do Rio de Janeiro; UFPR: Universidade Federal do Paraná; Unisinos: Universidade do Vale do Rio dos Sinos; UFG: Universidade Federal de Goiás; Uece: Universidade Estadual do Ceará; UFMS: Universidade Federal de Mato Grosso; UCB: Universidade Católica de Brasília; Unicamp: Universidade Estadual de Campinas
Fonte: Elaborado pelas autoras com base nos dados obtidos nos repositórios da Capes e do BDTD (2008-2018)

Essa seleção resultou em 13 trabalhos, sendo 5 teses e 8 dissertações. Partes desses estudos não versam propriamente sobre Qualis, mas fazem uma discussão que envolve a produção acadêmica e o campo científico, que estão diretamente relacionados ao objeto aqui pesquisado.

4 Diálogos convergentes entre as produções

As pesquisas selecionadas na área de Educação permitiram inferir que o objeto investigado se encontra, prioritariamente, na linha de Políticas Educacionais. Os trabalhos que apresentam uma discussão sobre a produção científica objetivavam verificar como está a representatividade do campo da Educação em periódicos científicos e analisar as determinações de investigação e de publicação nos programas de Pós-Graduação no Brasil e os seus desdobramentos na qualidade da produção científica.

Nesse prisma, a pesquisa de Silva (2008) aponta que a produção científica da área de Educação, embora apresente particularidades, acompanha a tendência da grande área de Ciências Humanas, com altos índices de publicação individual, prioritariamente em livros, com frequência elevada de comunicação em fontes nacionais, em que a quantidade de periódicos publicados não dialoga com o impacto social dessas publicações.

Como essa pesquisa data de 10 anos atrás, é importante destacar que, em função dos critérios avaliativos da área, essa tendência sofreu alterações. A última Quadrienal Capes (2017) mostrou uma canalização das publicações em periódicos científicos, considerando o lugar que esse veículo ocupa, uma vez que uma publicação em periódico classificado nos estratos mais elevados, A1 e A2, tem grande valoração acadêmica.

Em uma investigação mais recente, Dionísio (2016) aponta que, em um período de 10 anos, o número de publicações na área de Educação aumentou cerca de 100%, mas o índice de citação desses artigos em nível internacional não atinge 3%. Ou seja, as universidades se adequam à lógica da produção, mas nem sempre essa prática vem acompanhada de qualidade.

Uma parte considerável das pesquisas (38,5%) pôs em pauta o campo científico, no intuito de identificar os elementos constitutivos de sua dinâmica: analisar como o campo se organiza para se adequar às novas políticas de Educação Superior e da Ciência; verificar como se configura o campo científico da área de Educação a partir dos programas de Pós-Graduação; compreender as características da profissão e da profissionalização docente e suas relações com as políticas de Educação Superior; e, ainda, avaliar os programas de Pós-Graduação, considerados como de excelência pelo Sistema Nacional de Avaliação da Capes, sob a ótica da internacionalização do conhecimento científico.

Logo, os dados denotam que há conflitos epistemológicos e políticos no campo científico, assim como existem relações de poder envoltas na competitividade e no individualismo. Percebe-se uma relação dialética entre habitus e campo, visto que este último é uma constituição histórica, que se caracteriza pela busca de reconhecimento e de consagração ( GRAETZ, 2013 ). Já o habitus implica conhecimento das regras do campo, pois é uma condição para o funcionamento deste e, ao mesmo tempo, é também um produto desse funcionamento.

Para Graetz (2013) , as avaliações por meio da Capes induzem a competição e o individualismo no trabalho. Nessa perspectiva, as relações no campo científico da Pós-Graduação estão caracterizadas pelo desgaste, devendo ser repensadas, pois à medida que vão se inserindo no campo, os agentes vão internalizando essas práticas, que passarão a fazer parte de seu habitus.

Em função da expansão acentuada da Pós-Graduação, o sistema de Ensino Superior passou a assumir uma série de novas funções que visam atender as demandas impostas pelo setor produtivo. Assim, a Pós-Graduação forma um número crescente de pesquisadores em áreas enfatizadas pelas políticas industriais, passando a ter um caráter cada vez mais instrumental e pragmático ( ARAUJO, 2014 ).

Nesse sentido, o avanço no campo é resultado de estratégias utilizadas pelos agentes para a obtenção do poder simbólico. A produção de capital científico se deu de modo oscilante, assimétrico, às vezes não ocorrendo, visto que a formação do capital intelectual não garante o capital científico, pois a relação entre produção de capital intelectual e científico se dá de maneira excludente ( LOBATO, 2015 ).

Na mesma perspectiva, Paz (2016) aponta que há aspectos que influenciam o desempenho do professor para estar mais alinhado com as exigências do campo produtivo, fragilizando as bases da profissão e da profissionalização. Houve aumento gradual da produção acadêmico-científica após a implementação do novo padrão Capes de avaliação, havendo no trabalho docente uma relação ambígua de prazer e sofrimento, este relacionado às interferências externas ao campo universitário, aquele vinculado às relações sociais estabelecidas no cotidiano acadêmico ( PAZ, 2016 ).

Por sua vez, a pesquisa de Paiva (2017) evidenciou que uma das estratégias mais utilizadas pelos programas de Pós-Graduação em Educação na busca por excelência, sob a ótica da internacionalização, além da mobilidade docente e da realização de estágio pós-doutoral, é a publicação em periódicos internacionais. O que se constata é um trabalho individual por parte dos docentes, objetivando publicações em periódicos melhor classificados.

Destarte, as pesquisas que trataram de forma mais específica do Sistema Qualis foram elaboradas com o intuito de atender os seguintes objetivos: entender se seus critérios têm ou não proporcionado um diagnóstico favorável ao desenvolvimento científico; compreender o modelo Capes de avaliação e promoção/aferição da qualidade; conhecer o contexto editorial característico de uma revista estratificada com A1 da área da Educação; descobrir como foi instaurado na Pós-Graduação do Brasil esse modelo avaliativo com foco na publicação; analisar como a Plataforma Sucupira é interpretada na prática pelos gestores na avaliação dos programas de Pós-Graduação em Educação; as bases que alicerçam os critérios avaliativos propostos pela Capes e o que é considerada uma produção científica de excelência.

Algumas pesquisas, que tinham seus objetivos relacionados ao trabalho e ao produtivismo nas universidades, em um contexto de eficiência e de qualidade indicam que, embora tenha havido um aumento na produção, em função da exigência da política da Capes, esses números não se traduzem em qualidade, nem no que diz respeito às pesquisas, e, ainda menos, às condições de trabalho docente ( LEICHSENRING, 2012 ).

Por seu turno, Ribeiro (2015) , ao tentar entender o espaço social em que os periódicos científicos estão inseridos e quais são suas funções e relações no campo acadêmico, constatou que:

O entendimento sobre o processo de avaliação, da pós e dos periódicos, bem como as reflexões sobre a criação e a utilização do Qualis nos deixou claro que a Capes não realiza análise de conteúdo das revistas, mas busca características ou critérios capazes de aferir a legitimidade da publicação dentro da área ( RIBEIRO, 2015 , p. 119).

Isso mostra que parte dos periódicos científicos têm suas ações moduladas e reguladas pelas bases de dados e pelos indexadores. Atribui, também, grande responsabilidade aos pares: pareceristas, conselheiros e editores. O capital científico desses agentes confere-lhes um poder discricionário dentro do campo acadêmico, uma vez que os atuais processos de avaliação da Pós-Graduação trazem a produção intelectual como quesito de maior peso.

Analisando os diferentes agentes que têm composto a avaliação do Qualis Periódicos, Andrade (2018) afirma que foi possível observar como ocorre a averiguação na Pós-Graduação, verificou que a proeminência do Qualis “vem da formação de uma Pós-Graduação altamente avaliativa e competitiva, regulado por um Estado avaliador que busca resultados palpáveis e numéricos para justificar sua atuação” ( ANDRADE, 2018 , p. 93).

Diante desse quadro, há uma reestruturação na produção acadêmica e intelectual, cujo campo é regido por regras próprias, em uma disputa na qual aquele que dispõe de maior capital científico, impõe os seus critérios.

Nesse contexto, ao analisar o modelo Capes de avaliação, Medeiros (2016) questiona como a avaliação realizada pelo órgão trabalha com os indivíduos envolvidos “a avaliação realizada pela Capes na Pós-Graduação conduz a conduta dos indivíduos nela envolvidos, principalmente no que tange às políticas de publicação e difusão do conhecimento produzido pelas áreas” (p. 31). A autora afirma que, por meio da governamentabilidade, é possível diagnosticar as relações de poder pelas quais esses indivíduos têm suas condutas moldadas.

Os resultados dessa pesquisa ressaltam que a avaliação da Capes se intensificou, ocasionando um aumento no aspecto meritocrático, no desempenho, na performatividade e na competição. Essa política nacional para a Pós-Graduação tem levado a uma pressão por publicação, criando um mercado acadêmico-científico, contexto propício para as más condutas acadêmicas científicas ( VILAÇA, 2013 ).

Pimentel (2017) afirma que as políticas não são apenas implementadas “podendo ser reinterpretadas no contexto da prática pelos atores envolvidos com as diversas etapas que compõem o processo de formulação e aplicação de uma política pública” ( PIMENTEL, 2017 , p. 24). Essa prática foi analisada a partir da relação dos gestores com os processos de avaliação da Capes. A pesquisa indica que, mesmo envolta a algumas contradições, os coordenadores dos programas reconhecem a Plataforma Sucupira como principal instrumento de avaliação da Pós-Graduação.

Assim, depreende-se que a avaliação tem gerado um cenário acadêmico de disputa acirrada, em que o conhecimento é medido de acordo com a visibilidade. Andrade (2018) demonstra que houve um alto crescimento no número de artigos após a criação do Qualis, acompanhado de sua supervalorização ao longo dos anos. Há uma hegemonia na produção do saber científico, no qual os artigos têm monopolizado o campo, em detrimento de outros trabalhos. Isso tem gerado um campo científico com regras próprias, ocorrendo uma imposição de critérios e privilégios a determinados grupos.

Embora não seja consenso, há uma década, o modelo Qualis Periódicos era apresentado como positivo pelas pesquisadoras Sousa e Macedo (2009) , coordenadora e vice, respectivamente, da área de Educação naquele ano. Ao descreverem o processo da classificação de periódicos na área, concluíram que o modelo construído, contribui para a qualidade dos veículos.

Outro elemento positivo destacado pelas autoras é a participação da área nesse processo, seja pela contribuição de programas de Pós-Graduação ou de pesquisadores individuais, explicitando que um campo com tal amplitude e tantos interesses em jogo estabelece suas normas de funcionamento e de avaliação de acordo com os agentes que o compõe.

As pesquisas indicam haver um produtivismo induzido pelo sistema de avaliação, ancorado prioritariamente no Programa Qualis. Tal questão foi recorrente nas análises e foi apresentada de forma mais enfática em alguns textos. Algumas investigações apontam que, para haver uma melhora nessa sistemática, não é aconselhável a adoção de um modelo geral para mensurar a produção científica, seriam necessários diversos critérios que pudessem dar conta de realizar uma avaliação de forma mais específica, sendo pouco conciliador aderir a um único princípio que não englobe todas as particularidades da produção intelectual.

Assinala-se, ainda, a necessidade de debates permanentes para aperfeiçoar o processo de avaliação, permitindo um controle social que possibilite maior transparência e responsabilidade. Esse aspecto foi apontado por Ponce et al . (2017) ao discutirem sobre os critérios de avaliação utilizados para qualificação das revistas da área de Educação, indicando que a falta de visibilidade do processo de avaliação e a ausência de diálogo sobre os resultados do Qualis geram insegurança no campo acadêmico e desestabiliza o sistema de avaliação.

Essa questão também tem merecido atenção por parte do órgão gestor, visto que, na avaliação quadrienal 2013-2016, o quesito que trata da avaliação da produção intelectual passou por algumas alterações, deixando de utilizar o conjunto da produção do programa e passando a considerar as oito melhores pesquisas por docente permanente. A Capes orienta que o esperado não é que os programas passem a produzir mais, mas que o façam melhor.

Souza et al. (2018), após relacionar alguns problemas ocorridos no processo avaliativo dos periódicos em 2015 concluem que, para melhorar o método de avaliação da área de Educação, seria necessária a construção de um indicador, provisoriamente intitulado como Índice para Qualis em Educação (Iqe). “O indicador deve conter pelo menos quatro critérios: a) atualização/periodicidade; b) origem e distribuição geográfica dos autores; c) internacionalização; e d) fator de impacto” (SOUZA et al ., 2018, p. 225).

Nesse sentido, a questão também foi pauta do II Seminário “O Sistema de Avaliação da Pós-Graduação Brasileira: desafios para articular expansão e qualidade”, ocorrido em 2018, em Belo Horizonte-MG, momento em que estiveram reunidos representantes da Capes, da Comissão Especial de Acompanhamento do Plano Nacional de Pós-Graduação, do Fórum Nacional de Coordenadores de Programas de Pós-Graduação em Educação da Anped (Forpred), do Fórum Nacional de Pró-reitores de Pesquisa e Pós-Graduação das Instituições de Ensino Superior Brasileiras (Forprop), dentre outros. Os apontamentos convergiam para a necessidade de reformular a concepção quantitativa da avaliação, uma vez que o peso numérico estimula os programas a desenvolver uma prática produtivista, que pode resultar em uma produção de pouca qualidade e de baixo impacto.

A nova metodologia, apresentada em 2019, equacionaria algumas dessas demandas. Souza et al. (2018, p. 221), ao apresentarem uma proposta inicial para a avaliação das revistas da área de Educação, chamam a atenção para o fato de que, embora a avaliação da área tivesse diversos méritos, “também oportuniza um ‘jogo’, no qual dada revista pode cumprir os critérios de avaliação, sem, necessariamente, alcançar reconhecimento e impacto científico na área”. A adoção de indicadores bibliométricos para o cálculo dos estratos intenta dirimir essas inconsistências.

Posto isso, a Capes (2019) ressalta que a nova metodologia buscou resolver algumas distorções do sistema de avaliação e que o propósito central foi alcançar critérios mais objetivos, os quais permitissem uma comparabilidade entre as áreas, o que antes era impossível, uma vez que elas adotavam padrões diferenciados na classificação da produção científica.

Já em 2020, o Qualis voltou a ser tônica de discussão no meio acadêmico, pois a comissão especial de acompanhamento do PNPG 2011-2020, ao analisar o processo avaliativo do Sistema Nacional da Pós-Graduação (SNPG), apresentou como proposta a extinção do Qualis a partir do próximo ciclo avaliativo (2021-2024). O comitê relata que, em função da maturidade do SNPG e de um novo contexto de recursos tecnológicos, a avaliação deve ser feita a partir de métricas internacionais estabelecidas e amplamente aceitas pela comunidade (CAPES, 2020).

Sendo assim, na sequência da publicação desse documento, os três colégios que organizam as áreas do conhecimento e de avaliação da Capes, Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar, Colégio de Ciências da Vida e Colégio de Humanidades (2020), emitiram uma carta aberta destinada ao Presidente da Capes, ao Conselho Superior e ao Conselho Técnico Científico da Educação Superior da instituição, na qual expressavam preocupação com algumas orientações contidas no relatório, entre elas, a extinção do Qualis Periódicos, sinalizando não ter havido uma ampla discussão nesse sentido.

Partindo do constructo teórico de Bourdieu (1983 , p. 133), no qual o campo se define “pelo estado das relações de força entre os protagonistas em luta, agentes ou instituições, isto é, pela estrutura da distribuição de capital específico”, percebe-se que o campo da Pós-Graduação está em disputa, cujo resultado dependerá das estruturas e das estratégias utilizadas pelos agentes no interior do campo.

Dessa forma, o debate em torno da proposta apresentada pela comissão do PNPG 2011-2020 ainda não está finalizado, mas a discussão em andamento poderia pôr fim a uma ferramenta utilizada em um ciclo de seis avaliações do SNPG que, a despeito das contradições e dos questionamentos, tinha um caráter orientador para os agentes do campo acadêmico.

5 Considerações finais

O Estado tem se apresentado como o responsável pelo controle da qualidade na Pós-Graduação, e o conceito de excelência adotado pelas agências governamentais tem sido imposto às instituições mediante algumas ferramentas e/ou programas que induzem a esse patamar.

O conjunto das pesquisas analisadas demonstra que a escolha por pesquisar o Sistema Qualis, ou fazer referência a ele, traduz uma preocupação do campo em discutir as regras estabelecidas para o julgamento do que vem a ser qualidade na Pós-Graduação em Educação e as questões que advêm dessa busca, explicitando que as relações de comunicação são relações de poder que dependem de um capital simbólico acumulado pelos agentes participantes do campo.

Dentro desse processo de disputa na consecução e na reformulação das normas de avaliação da Pós-Graduação, e, nesse conjunto, na reorganização do Qualis Periódicos, o interesse das áreas e dos programas altera o curso das mudanças, a depender do interesse do grupo. Isso reafirma a teoria de constituição dos campos e do capital simbólico, constituídos e entrelaçados pelas relações de poder que apresentam condições de impor ou de legitimar uma dominação.

A pesquisa aqui apresentada indicou o movimento confluente entre a comunidade acadêmica e os órgãos governamentais em torno da necessidade de rever os critérios de avaliação da Pós-Graduação. Os agentes se movimentaram no intuito de mudar ou reformular os parâmetros do Programa Qualis, pois, para operacionalizar a qualidade dos periódicos por meio de um sistema de ranqueamento, são necessários padrões objetivos e de comum acordo.

Cabe mencionar que o movimento realizado em torno dos novos critérios adotados na avaliação dos periódicos, ainda considerando o processo de expansão dos periódicos, explicita a importância da discussão e o caminho a ser percorrido no equilíbrio entre aspectos subjetivos e objetivos presentes nas avaliações dos periódicos e o quanto isso influencia na produção acadêmica.

As mudanças vêm ocorrendo sempre de forma incremental, mas a proposta da comissão de acompanhamento do PNPG 2011-2020 de extinguir o Programa Qualis intenta uma ruptura no processo de avaliação da produção acadêmica que vai incidir diretamente na gestão dos periódicos e, por conseguinte, nos programas de Pós-Graduação, pois mesmo que a Capes se isente da responsabilidade dos usos indiscriminados que são feitos do Qualis, esse não é mais somente um mecanismo utilizado na avaliação da Pós-Graduação, sendo aplicado em processos seletivos, como condicionante para a progressão docente, entre outras aplicações.

Em síntese, o estado do conhecimento aqui produzido não possibilita esgotar a discussão em torno do objeto pesquisado, mas pode indicar de que ponto devem se iniciar novas pesquisas, havendo um longo caminho a ser percorrido no intuito de equilibrar os critérios avaliativos eleitos pela área de Educação aos periódicos por meio do Programa Qualis.

Referências

• ANDRADE, D. C. S. Avaliação e análise da produção científica dos Qualis periódicos nacionais sobre a temática de estado e políticas educacionais. Dissertação (Mestrado em Educação) – Universidade Estadual de Campinas, Campinas, 2018.
• ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM EDUCAÇÃO – ANPED. Relatório de trabalho da comissão avaliação de periódicos ANPEd: ano 2015. Rio de Janeiro, 2015. Disponível em: http://www.anped.org.br./sites/default/files/resources/Relatorio_finalizado_Divulgacao_30out2015.pdf Acesso em: 20 abr. 2016.
  » http://www.anped.org.br./sites/default/files/resources/Relatorio_finalizado_Divulgacao_30out2015.pdf
• ARAUJO, J. B. Uma análise macroeconômica da tendência da Pós-Graduação: um estudo sobre a UFMG. Dissertação (Mestrado em Educação) – Universidade Federal de São Carlos, São Carlos, 2014.
• BIBLIOTECA DIGITAL BRASILEIRA DE TESES E DISSERTAÇÕES – BDTD. Catálogo de teses e dissertações. Brasília, DF: IBICT, 2018. Disponível em: http://bdtd.ibict.br/ Acesso em: 16 jun. 2018.
  » http://bdtd.ibict.br/
• BOURDIEU, P. O campo científico. In: ORTIZ, R.(org.). Pierre Bourdieu: sociologia. São Paulo: Ática, 1983. p. 112-143.
• BOURDIEU, P. O poder simbólico . Rio de Janeiro: Bertrand Brasil, 1989.
• CAMPOS, J. N. B. Qualis periódicos: conceitos e práticas nas Engenharias I. REVISTA BRASILIERA DE PÓS-GRADUAÇÃO - RBPG , Brasília, DF, v. 7, n. 14, p. 477-503, 2010. https://doi.org/10.21713/2358-2332.2010.v7.14
  » https://doi.org/10.21713/2358-2332.2010.v7.14
• COLÉGIO DE CIÊNCIAS EXATAS, TECNOLÓGICAS E MULTIDISCIPLINAR; COLÉGIO DE CIÊNCIAS DA VIDA; COLÉGIO DE HUMANIDADES. [Correspondência]. Destinatários: Presidente da CAPES, Professor Benedito Aguiar; Conselho Superior – CAPES; Conselho Técnico Científico da Educação Superior – CAPES. Brasília, 16 jun. 2020. Carta aberta. Disponível em: http://www.abc.org.br/wp-content/uploads/2020/06/Carta-aberta-ao-Presidente-da-CAPES.pdf Acesso em: 11 jul. 2020.
  » http://www.abc.org.br/wp-content/uploads/2020/06/Carta-aberta-ao-Presidente-da-CAPES.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. Aprimoramento do processo de avaliação da Pós-Graduação: esclarecimentos a respeito do Qualis Periódico e avaliação da produção intelectual. Brasília, DF, 2019. Disponível em: http://www.Capes.gov.br/36-noticias/9730-Capes-melhora-ferramentas-de-avaliacao-da-pos-graduacao Acesso em: 23 jul. 2019.
  » http://www.Capes.gov.br/36-noticias/9730-Capes-melhora-ferramentas-de-avaliacao-da-pos-graduacao
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. Catálogo de teses e dissertações. Brasília, DF, 2018. Disponível em: http://catalogodeteses.Capes.gov.br/catalogo-teses/#!/ Acesso em: 16 jun. 2018.
  » http://catalogodeteses.Capes.gov.br/catalogo-teses/#!/
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. Classificação da produção intelectual. Brasília, DF, 2016. Disponível em: http://www.Capes.gov.br/avaliacao/instrumentos-de-apoio/classificacao-da-producao-intelectual Acesso em: 05 mar. 2016.
  » http://www.Capes.gov.br/avaliacao/instrumentos-de-apoio/classificacao-da-producao-intelectual
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes . Documento da Área de Educação . Brasília, DF, 2013. Disponível em: http://www.Capes.gov.br Acesso em: 10 maio 2016.
  » http://www.Capes.gov.br
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. Relatório da avaliação quadrienal 2017 . Brasília, DF, 2017. Disponível em: http://Capes.gov.br/images/documentos/Relatorios_quadrienal_2017/20122017Educacao_relatorio-de-avaliacao-quadrienal-017_final.pdf Acesso em: 5 mar. 2017.
  » http://Capes.gov.br/images/documentos/Relatorios_quadrienal_2017/20122017Educacao_relatorio-de-avaliacao-quadrienal-017_final.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. InfoCapes - Boletim Informativo da CAPES , Brasília, DF, v. 3, n. 1-2, jan.-jun. 1995. Disponível em: http://www.Capes.gov.br/publicacoes/infoCapes/77-salaimprensa/multimidia/9140-infoCapes-historico Acesso em: 10 maio 2016.
  » http://www.Capes.gov.br/publicacoes/infoCapes/77-salaimprensa/multimidia/9140-infoCapes-historico
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. InfoCapes - Boletim Informativo da CAPES, Brasília, DF, v. 5, n. 2, abr.-jun. 1997. Disponível em: http://www.Capes.gov.br/publicacoes/infoCapes/77-salaimprensa/multimidia/9140-infoCapes-historico Acesso em: 10 maio 2016.
  » http://www.Capes.gov.br/publicacoes/infoCapes/77-salaimprensa/multimidia/9140-infoCapes-historico
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – Capes. Comissão Especial de Acompanhamento do PNPG 2011-2020. Proposta de aprimoramento da avaliação da pós-graduação brasileira para o quadriênio 2021-2024: modelo multidimensional. Brasília, DF, 2020. Disponível em: https://www.Capes.gov.br/images/novo_portal/documentos/PNPG/25052020_Relat%C3%B3rio_Final__2019_Comiss%C3%A3o_PNPG.pdf Acesso em: 11 jul. 2020.
  » https://www.Capes.gov.br/images/novo_portal/documentos/PNPG/25052020_Relat%C3%B3rio_Final__2019_Comiss%C3%A3o_PNPG.pdf
• DIONÍSIO, D. A. Trabalho, educação e conhecimento: da teórica universalização do ensino superior ao produtivismo acadêmico – o homo lattes. Dissertação (Mestrado em Educação) – Universidade Estadual do Ceará, Fortaleza, 2016.
• FERNEDA, E. Recuperação da informação: análise sobre a contribuição da Ciência da Computação para a Ciência da Informação. Tese (Doutorado em Ciência da Comunicação) – Escola de Comunicação e Arte, Universidade de São Paulo, São Paulo, 2003.
• FERREIRA, N. S. A. As pesquisas denominadas “estado da arte”. Educação & Sociedade , Campinas, v. 23, n. 79, p. 257-272, ago. 2002. https://doi.org/10.1590/S0101-73302002000300013
  » https://doi.org/10.1590/S0101-73302002000300013
• GRAETZ, C. F. O campo científico, os conflitos e relações de poder no trabalho de professores de uma universidade pública. Dissertação (Mestrado em Educação) – Universidade Federal de São Carlos, São Carlos, 2013.
• LEICHSENRING, I. M. F. O sistema Qualis e a crise de valores na produção científica brasileira. Dissertação (Mestrado em Educação) – Universidade de São Paulo, São Paulo, 2012.
• LOBATO, A. C. L. Capital intelectual versus capital cultural científico no campo acadêmico da Educação física . Tese (Doutorado em Educação) –Universidade Federal do Pará, Belém, 2015.
• MEDEIROS, M. D. Avaliação da Pós-Graduação no Brasil e a produção intelectual: notas sobre o “modelo Capes” de 1975 a 2002. Dissertação (Mestrado em Gestão Educacional) – Universidade do Vale do Rio Sinos, São Leopoldo, 2016.
• PAIVA, F. M. A internacionalização da Pós-Graduação em Educação no Brasil: mobilidade e produtividade docente (2010-2016). Tese (Doutorado em Educação) – Universidade Federal de Mato Grosso do Sul, Campo Grande, 2017.
• PAZ, S. L. P. Políticas para Educação superior e suas implicações no trabalho, profissão e profissionalização em unidades acadêmicas da Universidade Federal de Goiás (UFG). Tese (Programa de Pós-Graduação em Educação) – Universidade Federal de Goiás, Goiânia, 2016.
• PIMENTEL, B. M. C. B. A Plataforma Sucupira sob a interpretação dos gestores da Pós-Graduação em Educação . Dissertação (Mestrado em Educação) – Universidade Católica de Brasília, Brasília, DF, 2017.
• PONCE, B. J. et al. Sobre a melhoria da produção e da avaliação de periódicos científicos no Brasil. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 25, n. 97, p. 1032-1044, dez. 2017. https://doi.org/10.1590/s0104-40362017002501032
  » https://doi.org/10.1590/s0104-40362017002501032
• RIBEIRO, D. A. Estratificação A1 na Educação: estratégias e legitimidade da “Educação em Revista”.. Dissertação (Mestrado em Educação) – Universidade Federal de São João Del-Rei, São João Del-Rei, 2015.
• SEMINÁRIO O SISTEMA DE AVALIAÇÃO DA PÓS-GRADUAÇÃO BRASILEIRA: desafios para articular expansão e qualidade, 2., 2018, Belo Horizonte-MG. Universidade Federal de Minas Gerais, 2018. 1 vídeo (3h 27 min). Disponível em: https://www.youtube.com/watch?v=WUtGrVz87Ig&index=11&list=PLjzoi3L-HEPiTjASvHm5kxOI2mn9ZDkLO Acesso em: 26 mar. 2019.
  » https://www.youtube.com/watch?v=WUtGrVz87Ig&index=11&list=PLjzoi3L-HEPiTjASvHm5kxOI2mn9ZDkLO
• SILVA, M. R. Configuração do campo da Educação no Brasil: estudo bibliométrico da Revista Brasileira de Educação e da Revista Brasileira de História da Educação. Tese (Doutorado em Educação) – Universidade Federal de São Carlos, São Carlos, 2008. Disponível em: https://repositorio.ufscar.br/handle/ufscar/2208 Acesso em: 16 jun. 2018.
  » https://repositorio.ufscar.br/handle/ufscar/2208
• SOUSA, C. P.; MACEDO, E. Avaliação da pesquisa em Educação e indicadores de produção bibliográfica: um relato sobre o Qualis periódicos. Revista Educação Pública , Cuiabá, v. 18, n. 37, p. 255-272, maio/ago. 2009. https://doi.org/10.29286/rep.v18i37.475
  » https://doi.org/10.29286/rep.v18i37.475
• SOUZA, A. R. et al. Qualis: a construção de um indicador para os periódicos na área da Educação. Práxis Educativa , Ponta Grossa, v. 13, n. 1, p. 219-231. 2018. https://doi.org/10.5212/PraxEduc.v.13i1.0013
  » https://doi.org/10.5212/PraxEduc.v.13i1.0013
• VILAÇA, M. M. Publicar ou perecer: uma análise crítico-normativo das características e dos efeitos dos modelos cientométrico e bibliométrico adotados no Brasil. Tese (Doutorado em Educação) – Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2013.

• 1
  Termos e operadores booleanos podem ser combinados para especificar buscas mais detalhadas ou restritivas ( FERNEDA, 2003 ).

Datas de Publicação

• Publicação nesta coleção
  19 Mar 2021
• Data do Fascículo
  Jul-Sep 2021

Histórico

• Recebido
  30 Jun 2019
• Aceito
  16 Out 2020