Contribuições ao debate sobre a avaliação da produção científica no Brasil

No âmbito da revisão do processo de avaliação dos programas de pós-graduação no Brasil, a Diretoria de Avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) estabeleceu novos critérios para classificação das revistas científicas no Qualis Periódicos (Ofício nº 6/2019-CGAP/DAV/CAPES). A metodologia propõe uma única classificação de referência para os periódicos (‘Qualis Único’) a partir do uso combinado dos indicadores bibliométricos CiteScore (Scopus), Fator de Impacto (Web of Science) e h5 (Google Scholar). No caso de revistas científicas não indexadas nas bases Scopus e Web of Science, foi feito um modelo de regressão para estabelecer a relação do índice h5 com o CiteScore. A classificação se baseia no percentil em que o periódico está situado em cada base, segundo categoria temática. Esse percentil está dividido em oito grupos (a cada 12,5% do total), sendo possível alterar a classificação de até 30% dos periódicos.

A premissa da adoção de um único critério para avaliação de periódicos científicos é questionável, considerando as profundas diferenças entre as áreas acadêmicas na produção e divulgação do conhecimento, o que gera resultados desastrosos a periódicos já consolidados em suas áreas de atuação. Além disso, o processo careceu de maior transparência e participação da comunidade acadêmica envolvida. Cabe também situar o contexto no qual essa proposta é formulada.

A avaliação da pesquisa, certamente essencial, é permeada por interesses de diferentes atores (Camargo Jr. 2014, Guédon, 2019): grandes grupos empresariais, pequenas editoras, grupos e centros de pesquisa, organizações reguladoras e financiadores. Ressalta-se que o mercado da publicação científica está entre os mais lucrativos do mundo. A editora Elsevier, por exemplo, teve margem de lucro de 36% em 2010, maior do que as empresas Apple, Google e Amazon (Buranyi, 2017). O pagamento de taxas de publicação e assinaturas de revistas científicas representa 45% das fontes de financiamento, cabendo, ao setor público, 31% (Lawson, Gray e Mauri, 2016).

No Brasil, a Capes possui papel fundamental na avaliação dos periódicos, que, por sua vez, serve à avaliação dos programas de pós-graduação, repercutindo no financiamento e na disponibilidade de bolsas para discentes. Essa função tem sido pautada pelo uso de indicadores bibliométricos, construídos para finalidades não relacionadas à avaliação da qualidade da produção científica.

A incorporação desses indicadores favorece a priorização de temas de interesse da política científica de países do hemisfério norte (Estados Unidos e Reino Unido, principalmente) e o ajuste do conteúdo publicado por revistas científicas de países não hegemônicos (Losego e Arvanitis, 2008), o que gera citações em bases bibliográficas internacionais. A publicação em inglês, necessária para esse objetivo, afasta a ciência produzida no Brasil dos leitores não especializados. Também dificulta o importante papel dos periódicos na disponibilização de conhecimentos científicos atualizados para apoiar a formação nos diversos níveis da pós-graduação, inclusive nos mestrados profissionais, cujo impacto social, indispensável em determinadas áreas, não é passível de reconhecimento e avaliação por essas métricas.

O modelo de avaliação impulsionado por esses indicadores se baseia em um fetichismo da excelência ancorado na narrativa de escassez (Moore et al., 2017), que não se sustenta frente aos recursos da publicação eletrônica como os preprints (https://blog.scielo.org/blog/2018/09/21/pkp-e-scielo-anunciam-desenvolvimento-de-um-sistema-de-codigo-aberto-de-servidor-de-preprints/) e que inflaciona os preços das revistas científicas ditas de alto impacto (tal como a Lancet Infectious Diseases , cuja publicação de um artigo custava US$ 5.000 em agosto de 2019; http://www.thelancet.com/pb/assets/raw/Lancet/authors/tlid-info-for-authors.pdf). Assim, estimula-se a competição predatória entre cientistas, entre programas de pós-graduação e entre periódicos.

Devemos ainda considerar as críticas coletivas feitas por cientistas aos indicadores bibliométricos, contidas nas orientações internacionais para a avaliação da produção científica, como a DORA ( San Francisco Declaration on Research Assessment (2012) e o manifesto de Leiden, definido na 19ª International Conference on Science and Technology Indicators (Hicks et al., 2015). Duas grandes limitações são destacadas pela DORA: o fator de impacto pode ser manipulado, e, mesmo dentro da mesma revista científica, os artigos têm número de citações extremamente variado. Já o manifesto de Leiden alerta sobre os danos ao sistema científico do uso pervasivo e inadequado desses indicadores, propondo dez princípios para orientar a avaliação da ciência.

À luz dos dez princípios presentes nesse manifesto, comentamos a proposta da Capes:

1. A avaliação quantitativa deve dar suporte à avaliação qualitativa especializada – a questão do Qualis deveria ser definida após o estabelecimento de um modelo qualitativo de avaliação;

2. Medir o desempenho de acordo com a missão da instituição, do grupo ou do pesquisador – a política de incentivo à pós-graduação deve condicionar a avaliação; a padronização de um indicador único aprofunda a desigualdade entre regiões e entre áreas do conhecimento, tornando-se um empecilho real à política de incentivo à pós-graduação;

3. Proteger a excelência da pesquisa localmente relevante – preservando o pluralismo e a relevância para a sociedade, não subordinando a avaliação à publicação em periódicos indexados nas bases selecionadas;

4. Manter a coleta de dados e os processos analíticos abertos, transparentes e simples – as bases de dados utilizadas para a classificação inicial e a classificação das revistas científicas pelas áreas devem ser abertamente disponibilizadas;

5. Permitir que os avaliados verifiquem os dados e as análises – a partir dos dados brutos disponibilizados, deve ser possível realizar análises comparativas e estudo do impacto da proposta nas diferentes áreas de conhecimento;

6. Considerar as diferenças entre áreas nas práticas de publicação e citação – o ‘Qualis Único’ impede a seleção de um conjunto mais amplo de indicadores, não permitindo que as distintas áreas definam aqueles que lhes são mais adequados. Além disso, a classificação baseada apenas em indicadores bibliométricos prejudica as revistas científicas novas e os artigos publicados em língua portuguesa;

7. Basear a avaliação de pesquisadores individuais no juízo qualitativo da sua carreira – princípio esse que pode ser estendido a instituições, programas e grupos de pesquisa, e deve considerar o conjunto da produção ao longo do tempo, e não apenas nos dois ou três anos incluídos nos indicadores;

8. Evitar solidez mal colocada e falsa precisão – cabendo questionar a precisão de pontos de corte de 12,5%;

9. Reconhecer os efeitos sistêmicos da avaliação e dos indicadores – devemos relembrar que tais aspectos condicionam não só o financiamento, mas a condução dos programas de pós-graduação para atender a esse critério, seja obrigando alunos a terem artigos aceitos antes de serem diplomados, seja diminuindo o número de artigos publicados nos periódicos para aumentar os indicadores, seja a adequação dos programas ao critério proposto, incluindo ou excluindo docentes, ou mesmo estimulando a publicação em periódicos melhor classificados, mesmo que fora do core da área de conhecimento;

10. Examinar e atualizar os indicadores regularmente – orientação atendida pela Capes, ainda que não debatida de forma coletiva.

Alguns problemas imediatos na aplicação da proposta da Capes já foram identificados. A definição da área-mãe – área da pós-graduação com maior número de artigos publicados na revista – é fortemente influenciada, no caso de campos do conhecimento de natureza interdisciplinar, pela área com maior número de programas de pós-graduação e alunos. Na área da saúde coletiva, 11 periódicos foram imediatamente realocados, e mais alguns estão em processo, indicando a fragilidade do critério “objetivo” adotado. Em outras áreas do conhecimento, marcadamente interdisciplinares, as revistas científicas têm sido classificadas em áreas-mãe impróprias, resultado de uma contabilidade automática, que não considera sua identidade e público-alvo.

A alocação de revistas científicas que não constam nas bases Scopus e Web of Science, a partir do uso do h5 (Google Scholar), reconhecidamente mais inclusivo, é também problemática. Apesar das limitações já apontadas, basear, em uma correlação de apenas 0,5, a alocação de periódicos não constantes das demais bases indexadoras implica em mais decisões ad hoc .

Ressaltando que a função das medidas de citação só se justifica em longo prazo (Rabóczkay, 2019): como comparar o impacto de um artigo que foi publicado nos dois (ou três) anos anteriores e citado no ano de referência com um artigo que recebeu citações ao longo de 20 anos? Por que limitar a avaliação aos indicadores cuja intenção é estimular uma sempre crescente competição pelos veículos ditos de maior impacto e com escopo temporal limitado? Outros indicadores cientométricos podem contribuir para avaliar os periódicos. A avaliação da inclusão de periódicos na base SciELO é um critério de qualidade e privilegia as publicações em acesso aberto, importante condição da produção científica nacional. O total de citações que um periódico recebeu no ano, também disponível no Google Scholar, sendo independente do ano de publicação, reflete o impacto acumulado da revista na comunicação científica. Diversas medidas altimétricas estão disponíveis, por exemplo, o número de downloads de artigos no SciELO.

É possível antecipar consequências da proposta: drenagem de artigos para áreas com periódicos nas classes A1 e A2 (cujas taxas de publicação são razoáveis); diminuição da submissão de artigos oriundos de programas de pós-graduação bem avaliados, com mais recursos, para pagar publicação nas revistas científicas das grandes editoras internacionais; restrição do financiamento das revistas científicas, num processo de “mais para quem tem mais”. Estimula-se a competição em vez da solidariedade entre pares, bem como o esvaziamento de revistas científicas recentes.

Esse processo ocorre associado a um contexto de diminuição dos recursos e de produção de um descrédito da ciência (Proctor e Schiebinger, 2008), no qual evidências científicas são equiparadas às observações de um único indivíduo. Considerando as críticas e os debates sobre o tema, faz-se necessário refletir até quando adotaremos classificações que pouco contribuem para avaliar a qualidade da produção de conhecimento.

Referências

• BURANYI, Stephen. Is the staggeringly profitable business of scientific publishing bad for science ? Disponível em: < https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science> . Acesso em: 2 ago. 2019 .
  » https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science>
• CAMARGO Jr, Kenneth R. Big publishing and the economics of competition. American Journal of Public Health, Washington, v. 104, n.1, p. 8-10.
• GUÉDON, Jean-Claude. Future of scholarly publishing and scholarly communication : report of the expert group to the European Commission. Bruxelas: European Commission, 2019. Disponível em: < https://doi.org/10.2777/836532> . Acesso em: 3 ago. 2019.
  » https://doi.org/10.2777/836532>
• HICKS Diana et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature News , [s.l.], v. 520, p. 429, 2015 .
• LAWSON, Stuart; GRAY, Jonathan; MAURI, Michele. Opening the black box of scholarly communication funding: a public data infrastructure for financial flows in academic publishing. Open Library of Humanities, Cambridge, v. 2, p. e10, 2016 .
• LOSEGO, Philippe, ARVANITIS, Rigas. La science dans les pays non hégémoniques. Revue d’Anthropologie des Connaissances , [s.l.], v. 2, n. 3, p. 334-342, 2008 .
• MOORE, Samuel et al. “Excellence R Us”: university research and the fetishisation of excellence. Palgrave Communications, [s.l.], v. 3, n. 16.105, 2017 .
• PROCTOR, Robert N.; SCHIEBINGER, Londa. Agnotology : the making and unmaking of ignorance. Palo Alto, Califórnia, EUA: Stanford University Press, 2008 .
• RABÓCZKAY, Tibor. Significado real do número de citações de um artigo científico. Jornal da USP , São Paulo, 26 jul. 2019. Disponível em: < https://jornal.usp.br/artigos/significado-real-do-numero-de-citacoes-de-um-artigo-cientifico/> . Acesso em: 2 ago. 2019.
  » https://jornal.usp.br/artigos/significado-real-do-numero-de-citacoes-de-um-artigo-cientifico/>
• SAN FRANCISCO DECLARATION ON RESEARCH ASSESSMENT. 2012. Disponível em: < https://sfdora.org/read/> . Acesso em: 3 ago. 2019.
  » https://sfdora.org/read/>
• SCIELO Brasil. Seleção de Periódicos da Coleção SciELO Brasil. Disponível em: < http://www.scielo.br/avaliacao/avaliacao_pt.htm> . Acesso em: 9 ago 2019 .
  » http://www.scielo.br/avaliacao/avaliacao_pt.htm>

Datas de Publicação

• Publicação nesta coleção
  07 Nov 2019
• Data do Fascículo
  2020