EDITORIAL
Avaliação da produção científica em discussão
Em 16 de maio deste ano, veio à luz a DORA San Francisco Declaration on Research Assessment, assinada inicialmente por 155 cientistas e 78 instituições ligadas à ciência que, explicitamente, propõe eliminar o uso do fator de impacto (FI) das revistas "como uma medida substituta da qualidade de artigos de pesquisa individuais, para avaliar a contribuição individual de um cientista, ou na contratação, promoção ou decisões de financiamento" (http://am.ascb.org/dora/, tradução nossa).
O FI de uma revista é calculado de forma muito simples: é o número de vezes que num dado ano os artigos publicados pela revista nos últimos dois anos foram citados, dividido pelo número de artigos publicados no período. Criado como um indicador para orientar a aquisição de revistas por bibliotecas de instituições de pesquisa, foi sendo paulatinamente adotado como "O" indicador de qualidade da produção científica. E, o que é mais preocupante, passou a ser utilizado para avaliar os pesquisadores individualmente.
O equívoco de usar um indicador de desempenho de uma revista para avaliar a qualidade de um artigo nela publicado é velho conhecido da epidemiologia: chama-se falácia ecológica. Mesmo como métrica para avaliação das próprias revistas, o FI é problemático. Entre as diversas limitações apontadas destacam-se: revisões que em algumas áreas, incluindo a da Saúde Pública, são citadas com maior frequência; o ciclo de vida dos artigos que em geral é maior do que dois anos; e basta um artigo ser altamente citado para aumentar substancialmente o FI de uma revista, pois médias são sensíveis a valores extremos.
Qualquer métrica de avaliação ou medida de incentivo comportamental tem efeitos desejados caso seja uma boa medida e indesejados, pelos incentivos negativos que cria. A adoção do FI nas decisões sobre financiamento de pesquisa tem sido associada ao aumento de casos de má conduta (Couzin-Frankel. Science 2013; 339:386-9). Do ponto de vista dos editores científicos, a atribuição de um peso excessivo ao FI nas avaliações editoriais pode ser potencialmente danosa para a ciência: isto quando a escolha do que publicar for predominantemente influenciada pelo potencial do artigo de ser citado.
Certamente, a atuação da grande maioria dos editores, baseada no trabalho voluntário de cientistas reconhecidos, é honesta e séria. Entretanto, estamos vivendo um momento de grandes mudanças na forma de financiamento das revistas, em muitos casos uma transformação para um modelo de negócios, altamente lucrativo, diga-se de passagem.
A DORA traz, em complementação à recomendação geral, um conjunto de orientações específicas direcionadas a pesquisadores, instituições de pesquisa, instituições que divulgam métricas de avaliação para periódicos, agências de fomento, e editores (publishers). Para esses últimos as recomendações são: redução da ênfase do uso do FI ou de outros indicadores equivalentes como estratégia de promoção do periódico; incentivo a práticas responsáveis de autoria e exigência de informações sobre as contribuições específicas de cada autor; redução de restrições no número de referências citadas nos artigos; apresentação de métricas para artigos individuais; remoção de todas as restrições à reutilização da lista de referências, tornando-a disponível sob a licença Creative Commons Public Domain Dedication; e obrigação de citação das referências primárias no lugar de artigos de revisão. CSP já adota essas recomendações, com exceção das duas últimas, que pretendemos implantar futuramente.
No momento de fechar este editorial já são 8.023 assinaturas de cientistas e 379 organizações, incluindo, entre outras, CSP. O link para assinar o manifesto continua aberto.
Marilia Sá Carvalho
Claudia Travassos
Cláudia Medina Coeli
Editoras
Datas de Publicação
-
Publicação nesta coleção
02 Jul 2013 -
Data do Fascículo
Jul 2013
