Métricas de avaliação em ciência: estado atual e perspectivas

A avaliação da ciência utiliza uma variedade de indicadores bibliométricos, em sua maioria baseados em citações, a despeito de não existir uma relação inequívoca entre citações e mérito ou qualidade científica. Estes indicadores, no entanto, abarcam mais do que uma indicação de visibilidade, relevância e impacto dos artigos e podem representar na carreira de um pesquisador prestígio, contratações, promoções na carreira, premiações, obtenção de auxílio a pesquisa e outras recompensas.

Indicadores de impacto científico

Um dos primeiros e mais utilizados índices já criados - o Fator de Impacto (FI) - data de 1975, quando Eugene Garfield, fundador do então Institute for Scientific Information - ISI, o introduziu para apoiar na seleção de periódicos por assinatura em bibliotecas¹. No percurso, a partir desta origem para sua ubíqua utilização para ranquear publicações, pesquisadores e instituições, suas características e peculiaridades foram negligenciadas em prol da conveniência de um índice fácil de calcular e amplamente disseminado por todas as áreas de conhecimento em todo o mundo. Até meados de 2016, a base Journal Citation Reports (JCR), que publica o FI, e a Web of Science pertenciam à empresa Thomson Reuters, e hoje, integram os produtos da Clarivate Analytics.

O FI não teve sérios concorrentes até 2004, quando o publisher multinacional Elsevier criou a base bibliográfica Scopus, e a partir desta, foi lançado em 2008 o índice SCImago Journal & Country Rank (SJR), disponível em acesso aberto, ao contrário do JCR, que requer assinatura. A forma de calcular o SJR e o FI apresentam algumas diferenças, porém ambos basicamente aferem citações por intervalo de tempo e guardam uma relação linear.

Em 2005, o físico Jorge E. Hirsch da Universidade da Califórnia em San Diego criou o índice h para medir não apenas o impacto, mas também a produtividade de pesquisadores. Este indicador ganhou popularidade rapidamente, e também se aplica a periódicos ou instituições, sendo frequentemente referenciado em curricula vitae, como na Plataforma Lattes.

Além destes, existem índices como Eigenfactor e Article Infuence², também baseados em citações, cujos cálculos empregam elegantes algoritmos e estão disponíveis em acesso aberto, porém, não são frequentemente utilizados ou mencionados.

Apesar de largamente empregados em processos de avaliação da ciência, a limitação e precariedade do uso de indicadores de citações são reconhecidos pela comunidade científica mundial, tendo em vista as particularidades e vieses das principais métricas utilizadas para aferir o desempenho de artigos, periódicos, pesquisadores, instituições e países. Iniciativas que tem por objetivo coibir ou desaconselhar seu uso como a San Francisco Declaration on Research Assessment³ (DORA) ou o Manifesto de Leiden⁴ recebem apoio de pesquisadores e instituições em todo o mundo. Somam-se a estas iniciativas de sociedades científicas, universidades, agências de fomento e periódicos, entre outros⁵.

Compreender a natureza dos indicadores, como são calculados, sua aplicabilidade e limites é fundamental não apenas para os especialistas em cienciometria e técnicos de agências de fomento, mas para toda a comunidade científica. Afinal, são os pesquisadores eles próprios que avaliam seus pares em processos de contratação e progressão na carreira, por isso, é aconselhável ir além da simples análise do número de publicações, FI dos periódicos ou seu índice h. A consideração de Antonio Augusto P. Videira, Professor Adjunto de Filosofia da Ciência da UFRJ, é eloquente: "Deveria causar surpresa o fato de que o uso de um indicador torne elegível um ou outro autor pelo fato de que tenha publicado em um periódico de mais alto FI, de que é mais importante saber onde ele publicou do que ler seu trabalho"⁶. Todos aqueles envolvidos na avaliação da ciência e nos sistemas de recompensa devem estar comprometidos com este conceito para não inferir em julgamentos precipitados e injustiças.

Um dos fatores que faz com que os índices bibliométricos, baseados em citações, sejam criticados é que a prática de citação de artigos é extremamente complexa e influenciada por inúmeros fatores. Assim, os verdadeiros motivos para citar um e não outro artigo não traduz a qualidade, validade ou relevância dos estudos⁷. De fato, não foi possível comprovar uma relação sobre o trabalho mais citado e seu melhor trabalho, na autoavaliação dos pesquisadores⁸. Normalizar métricas de citação pode nivelar os índices por área do conhecimento, idade da publicação, tipo de documento e abrangência da base de dados onde foram contabilizadas, permitindo, assim, comparações mais balanceadas em processos de avaliação⁹.

Métricas alternativas ou altimetrias

As redes sociais são veículos muito eficientes para compartilhamento de notícias, opiniões e conteúdos em geral. Mais recentemente, vêm sendo largamente utilizadas como métricas de avaliação da ciência, e recebem o nome de altmetrias, ou "alternative metrics"¹⁰.

Estudos estimam que, levando em conta apenas citações formais, estaremos desconsiderando quase 50% da literatura científica publicada em todo o mundo. As altmetrias, como o índice Altmetric¹¹, vêm ganhando credibilidade na avaliação de publicações e pesquisadores. O índice Altmetric monitora várias redes sociais no compartilhamento do artigo científico: blogs, Twitter, Facebook, Mendeley, YouTube, ResearchGate, Google, Reddit, LinkedIn, notícias na mídia impressa e online, menção na elaboração de políticas públicas, e outros. Um estudo¹² mostra que as altmetrias apresentam correlação com índices de impacto baseados em citações e podem ser usadas para complementá-las, conjuntamente com avaliação pelos pares e medidas de uso como acesso e download.

Como todo novo conceito, costuma gerar dúvidas e questões sobre sua legitimidade, principalmente pelo fato de utilizar ferramentas 'informais' para medir o impacto da ciência, essencialmente formal. É possível que o ceticismo da comunidade acadêmica às altmetrias seja comparável à reação causada pelo uso da Internet os 1990 como plataforma para publicar periódicos científicos.

É importante considerar novas formas de comunicação científica que já estão influenciando a maneira como os resultados de pesquisa são publicados, disseminados e avaliados. Trata-se dos repositórios eletrônicos de preprints. O primeiro deles, arXiv¹³, foi criado em 1991 para publicar versões preliminares de artigos na área de física, astronomia, ciências da computação e estatística. Os autores postam estes artigos antes de submetê-los formalmente a um periódico para obter comentários da comunidade científica e outorgar-se a autoria de uma ideia ou resultado. Muitos artigos, no entanto, nem chegam a ser publicados formalmente, não por falta de relevância ou qualidade, apenas porque a publicação no repositório per se é reconhecida na academia - ao menos na área de física - como o mesmo peso de um artigo em periódico. Comentários são postados online e os autores podem atualizar seus artigos com base nesta avaliação por pares pós-publicação. Com base no sucesso do arXiv, repositórios de preprints para diferentes disciplinas vem sendo criados. BioRxiv foi lançado em 2013 para as ciências da vida, e reúne, em fevereiro de 2017, mais de 8 mil preprints. Estão em processo de implementação repositórios de preprints nas áreas de química (ChemRxiv), psicologia (PsyArXiv) e ciências sociais (SocArXiv). O incentivo e reconhecimento desta forma de publicação por parte da comunidade acadêmica é demonstrado por iniciativas como ASAP Bio¹⁴ que incentiva a publicação de preprints e avaliação por pares pós-publicação, além da crescente adoção e reconhecimento dos repositórios de preprints por instituições, organizações internacionais e agências de fomento¹⁵. Trata-se de uma via de publicação particularmente adequada à rápida e aberta disseminação de resultados, como se requer em casos de emergências de saúde pública, como as recentes epidemias de ebola e zika.

A comunicação científica, como a conhecemos, está evoluindo rapidamente - para melhor, acredito - com mais agilidade, transparência, responsabilidade, acesso facilitado e uso da pesquisa em prol dos indivíduos e da sociedade, e é preciso acompanhar estas mudanças para delas extrair o maior benefício para todos.

References

• ¹
  Garfield E. The History and Meaning of the Journal Impact Factor. JAMA. 2006;295(1):90-93. doi:10.1001/jama.295.1.90
  » https://doi.org/10.1001/jama.295.1.90
• ²
  Eigenfactor [Database] [Internet]. [Access Feb 3, 2017]. Washinton: University of Washington; 2007. Available from: www.eigenfactor.org/
  » www.eigenfactor.org
• ³
  Declaration on Research Assessment. European Association of Science Editors (EASE) Statement on Inappropriate Use of Impact Factors [Internet]. [Access Feb 7, 2017]. Available from: http://am.ascb.org/dora/
  » http://am.ascb.org/dora
• ⁴
  Hicks D, Wouters P, Waltman L, de Rijcje S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520(7548):429-31. doi: http://dx.doi.org/10.1038/520429a
  » https://doi.org/10.1038/520429a
• ⁵
  Corneliussen ST. Bad summer for the journal impact factor. Physics Today. 2016. doi:10.1063/PT.5.8183
  » https://doi.org/10.1063/PT.5.8183
• ⁶
  Videira AAP. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa. Estudos de CTS [blogwordpress] [Internet]. 2013. [Acesso 10 fev 2017]. Disponível em: https://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/
  » https://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa
• ⁷
  Nassi-Calò L. Study proposes a taxonomy of motives to cite articles in scientific publications. SciELO em Perspectiva. [Internet]. 2014 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2014/11/07/study-proposes-a-taxonomy-of-motives-to-cite-articles-in-scientific-publications/
  » http://blog.scielo.org/en/2014/11/07/study-proposes-a-taxonomy-of-motives-to-cite-articles-in-scientific-publications
• ⁸
  Ioannidis JPA, Boyack KW, Small H, Sorensen AA, Klavans R. Bibliometrics: Is your most cited work your best? Nature. [Internet]. 2014 [Access Feb 11, 2017];514(7524):561-2. doi: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess
  » https://doi.org/10.1038/514561a
• ⁹
  Nassi-Calò L. Is it possible to normalize citation metrics? SciELO em Perspectiva. 2016 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2016/10/14/is-it-possible-to-normalize-citation-metrics/
  » http://blog.scielo.org/en/2016/10/14/is-it-possible-to-normalize-citation-metrics
• ¹⁰
  Spinak E. What can alternative metrics - or altmetrics - offer us? SciELO em Perspectiva. [Internet]. 2014 [Acesso 8 fev 2017]. Disponível em: http://blog.scielo.org/en/2014/08/07/what-can-alternative-metrics-or-altmetrics-offer-us/
  » http://blog.scielo.org/en/2014/08/07/what-can-alternative-metrics-or-altmetrics-offer-us
• ¹¹
  Altmetric [Database] [Internet]. [Access Feb 2, 2017]. Available from: http://www.altmetric.com/
  » http://www.altmetric.com
• ¹²
  Hoffmann CP, Lutz C, Meckel M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. 47th Hawaii International Conference on System Science, Hilton Waikoloa Village; 2014. doi: 10.1109/HICSS.2014.202
  » https://doi.org/10.1109/HICSS.2014.202
• ¹³
  Cornell University Library. arXix [Database] [Internet]. Ithaca, NY, USA. [Access Feb 8, 2017]. Available from: http://arxiv.org/
  » http://arxiv.org
• ¹⁴
  Nassi-Calò L. Saiu no NY Times: From the NY Times: Biologists went rogue and publish directly on the Internet. SciELO em Perspectiva. [Internet]. 2016 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2016/04/07/from-the-ny-times-biologists-went-rogue-and-publish-directly-on-the-internet/
  » http://blog.scielo.org/en/2016/04/07/from-the-ny-times-biologists-went-rogue-and-publish-directly-on-the-internet
• ¹⁵
  Velterop J. Preprints - the way forward for rapid and open knowledge sharing. SciELO em Perspectiva. [Internet]. 2017 [Acesso 8 fev 2017]. Disponível em: http://blog.scielo.org/en/2017/02/01/preprints-the-way-forward-for-rapid-and-open-knowledge-sharing/
  » http://blog.scielo.org/en/2017/02/01/preprints-the-way-forward-for-rapid-and-open-knowledge-sharing

Datas de Publicação

• Publicação nesta coleção
  2017