EM DEBATE
Reflexões críticas sobre os três erres, ou os periódicos brasileiros excluídos1 1 Este texto é uma reprodução autorizada pelo autor do editorial publicado originalmente na revista Clinics, 66(1), 3-7, 2011.
Mauricio Rocha e Silva
Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo
Recentemente Clinics propôs para debate a idéia de que o QUALIS 2010 era passível de aperfeiçoamento, através do conceito dos três erres (Remover periódicos de revisão, Reconhecer outras métricas de avaliação, Reavaliar periódicos brasileiros) (Rocha e Silva, 2010). Submetido ao debate por pares por ocasião do II Seminário Satélite para Editores Plenos (ABEC, novembro de 2010), concluiu-se que idealmente haveria que focalizar num único erre, a saber, o reconhecimento por parte da CAPES para 2013 das métricas de avaliação SCImago (cites/document) e SciELO (Impact Factor).
Já demonstramos anteriormente que o Impact Factor ISI THOMSON, única métrica reconhecida pela CAPES, é praticamente idêntico ao cites/document da SCImago. A correlação geral por amostragem entre os dois índices é maior que 0,9 e o coeficiente angular é indistinguível da unidade. A recente divulgação da coleção 2009 do SCImago Journal & Country Rank2 2 SCImago Journal & Country Rank - SJR. Recuperado em 226 de janeiro de 2011, de http://www.scimagojr.com junta-se aos já divulgados Fatores de Impacto JCR-ISI e SciELO para aquele ano e permite o cotejo em tempo real dos três índices. Salientamos que este cotejo não se aplica a qualquer tabela QUALIS, pois a Tabela 2010 já é história e a Tabela 2013 será decidida no futuro. Em outras palavras, o cotejo que se segue, relativo ao ano 2009, é oferecido como base argumentativa adequada para reivindicar a correção de curso relativa à exclusão dos índices SCImago e SciELO.
Vamos pois ao cenário 2009 como simulação de uma hipotética tabela QUALIS: na versão 2009 do Journal of Citations Report - ISI a representação brasileira saltou de 31 a 71 periódicos; já no SCImago Journal Ranking essa representação manteve-se constante em 235 periódicos.
Existem, portanto 164 periódicos brasileiros (138 com impacto maior que zero) ausentes da tabela JCR-ISI. Mantida a norma QUALIS aplicada em 2010, estes 138 periódicos cairiam nas categorias ''sem fator de impacto''. A Figura 1 mostra a identidade entre ISI e SCImago para as 64 revistas incluídas nos dois índices: o coeficiente angular unitário e o elevado coeficiente de correlação significam que, conhecendo-se um dos índices, pode-se estimar o outro com 95% de probabilidade de errar por menos de 5%.
A Tabela 1 exibe a relação desses 138 periódicos brasileiros com Cites/Document SCImago > zero, mas sem Fator de Impacto JCR-ISI. Ressalte-se que não são periódicos de impacto nitidamente mais baixo que os da coleção JCR-ISI. Os quatro primeiros apresentam impacto > 1.00, o que os colocaria entre os 15 melhores do Brasil. Outros dez apresentam impacto maior que 0.50, acima da mediana dos periódicos brasileiros no JCR-ISI. Todos os 138 títulos evidentemente fariam jus à classificação ''com fator de impacto''.
Outra correlação interessante ocorre entre SCImago e SciELO. Em primeiro lugar vale notar que existe extensa concordância: a coleção SCImago contem 235 títulos brasileiros e a coleção SciELO contem 223. As inclusões não são 100% concordante: a coleção SCImago contem 69 periódicos ausentes da coleção SciELO; reciprocamente a coleção SciELO contem 56 periódicos ausentes da coleção SCImago. Por si só esta convergência revela a consistência de qualidade dos periódicos incluídos na coleção SciELO.
É fácil intuir que, para qualquer periódico brasileiro incluído nas duas coleções, há que se esperar que o impacto SCImago seja maior que o SciELO, porque a coleção SCImago contem 18.732 periódicos, contra apenas 759 na coleção SciELO. Surpreendentemente, porém, o efeito dessa enorme desproporção entre bases de dados é menor do que o esperado, como se pode ver à Figura 2: dentre os 142 periódicos brasileiros presentes nas duas coleções apenas 88 (62%) apresentam SCImago > SciELO, enquanto 45 (32%) apresentam SciELO > SCImago e nove (6%) apresentam igualdade. Esta discrepância entre o esperado e o observado merece estudo bibliométrico adicional, mas uma boa hipótese seria que artigos brasileiros citam outros artigos brasileiros com mais intensidade em virtude de um pronunciado interesse local específico. A correlação entre os impactos (Figura 3) é igualmente reveladora: o coeficiente angular (0,54) sugere que o impacto médio SciELO é apenas 40% menor que o impacto SCImago. Já o alto índice de correlação(r2 = 0.62; p < 0.01) demonstra que as duas métricas avaliam o mesmo parâmetro em bases de dados muito díspares.
Caso a CAPES reconheça o Cites/Document SCImago estará resgatada a maior parte dos periódicos brasileiros com impacto > 0. Porem a Tabela 2 mostra que, se a decisão fosse tomada neste momento restariam 35 periódicos brasileiros com impacto SciELO maior que zero mas ausentes do JCR-ISI e do SCImago. Aqui também encontramos impactos não triviais: quatro periódicos apresentam impactos maiores que a mediana da coleção ISI. Sem esquecer a forte possibilidade de que estes 35 impactos SciELO infra-estimem o que seriam seus impactos ISI ou SCImago.
Desta simulação, podemos concluir que teríamos 173 periódicos brasileiros com IMPACTO > ZERO tratados como ''SEM FATOR DE IMPACTO'' pelo QUALIS caso a avaliação fosse agora e caso os critérios 2010 fossem repetidos. Sabemos que esta ''simulada exclusão'' não é estática: quando a tabela QUALIS ''fechar'' para a próxima avaliação muita coisa terá mudado: dentre elas, com certeza, as tabelas ISI-JCR, SCImago e SciELO, bem como (esperamos!) os critérios CAPES de avaliação. Mas defendemos a tese de que reconhecer tão somente o Fator de Impacto ISI-JCR não seria lógico. Por isso entendemos que esta simulação é a base racional para um alerta, em tempo, pela adoção de novos critérios.
NOTA DO AUTOR: este editorial é publicado por Clinics livre de restrições de copyright. Oferecemo-lo aos periódicos científicos brasileiros para reprodução integral ou parcial. Alternativamente sugerimos que apóiem esta idéia, em editoriais originais. Tais ações sinalizarão nossa vontade política de exercer o direito republicano de peticionar perante o poder público em defesa desta que é uma reivindicação legítima e generalizada da comunidade editorial científica brasileira.
Maurício da Rocha e Silva, Professor Titular Emérito da Faculdade de Medicina da Universidade de São Paulo e editor da revista Clinics. Endereço para correspondência: Faculdade de Medicina, USP, Av. Ovídio Pires de Campos, 225, 6º andar. CEP: 05403-010, São Paulo, SP. Endereço eletrônico: mrsilva36@hcnet.usp.br
- Rocha e Silva, M. (2010). Qualis 2011-2013: os tręs erres. Clinics, 65(10), 935-936.
Datas de Publicação
-
Publicação nesta coleção
18 Jul 2011 -
Data do Fascículo
Jun 2011
