Influências metodológicas na mensuração de impacto: o caso das Memórias do Instituto Oswaldo Cruz e sua "qualificação"

Methodological influences on impact measurement: the case of Memorias do Instituto Oswaldo Cruz and its "qualification"

COMUNICAÇÕES

Rogério Mugnaini^I; Preiddy Efrain-García^II

^IEstatístico, mestre e doutor em Ciência da Informação. Professor do Curso de Gestão de Políticas Públicas e do Programa de Pós-Graduação em Ciência da Informação da Universidade de São Paulo

^IIBibliotecário, mestre e doutorando em Documentação pela Universidad Carlos III de Madrid. Atualmente faz parte do Laboratório de Estudos Métricos em Informação (LEMI) do departamento de Biblioteconomia e Documentação da Universidad Carlos III de Madrid

RESUMO

Diversos índices de citação têm sido utilizados para avaliação de produção científica. A comparação entre os resultados da metodologia empregada para cálculo de indicadores, nos relatórios de citação das bases SciELO e Journal Citation Reports (ISI-Thomson Scientific), possibilitou avaliar as implicações associadas à política científica (Qualis), em alguns de seus critérios específicos. Considerou-se um período de 10 anos, tendo em conta dois indicadores bibliométricos (total de citações no ano e fator de impacto) da revista Memórias do Instituto Oswaldo Cruz, que é indexada em ambos os índices. A correção dos indicadores associados à revista mostrou que as diferenças proporcionadas pelos índices de citação foram mais expressivas no ano de 2001, tendo diminuído nos últimos anos. Esta diminuição confere confiabilidade a ambas as bases, validando seus sistemas para geraçãode indicadores de produção científica.

Palavras-chave: Bibliometria; Índice de Citação; Avaliação; Produção Científica; Política Científica.

ABSTRACT

In recent years, the availabity of citation indexes for evaluation of Brazilian scientific production has increased. The comparison between the results of the methodologies used to estimate indicators in the citation reports of SciELO database and in Journal Citation Reports (ISI-Thomson Scientific) made it possible to evaluate implications associated to the Brazilian scientific policy (Qualis), regarding some specific criteria. A period of 10 years was considered, taking into account two bibliometric indicators (the total of citations in a year and the Impact Factor) of the journal Memórias do Instituto Oswaldo Cruz, which is indexed in both indexes. The correction of the indicators associated to this journal showed that the differences in the citation indexes were more expressive in 2001, having decreased in the last years. This reduction gives credibility to both databases, validating their systems for the production of bibliometric indicators.

Keyword: Bibliometrics; Citation Analysis; Scientific Evaluation; Scientific Production; Scientific Policy.

1 Introdução

Nas últimas décadas, os sistemas de informação para armazenamento e recuperação de produção científica tornaram-se importantes fontes de indicadores para avaliação. Pesquisadores, editores e agências de fomento à pesquisa buscam, nas bases de dados, parâmetros que auxiliem na estimativa da qualidade da pesquisa. Originárias dos países desenvolvidos, diversas metodologias vêm sendo propostas por uma comunidade crescente e diversificada, induzida pela urgência de informação objetiva que permita estabelecer rankings de excelência acadêmica nos diversos níveis de agregação do sistema de ciência e tecnologia. Recentes iniciativas de sucesso extrapolam as fronteiras dos países desenvolvidos, diversificando-se em diversos países, permitindo não apenas uma análise comparativa, mas uma visão da própria ciência, a ciência local, como não se podia observar anteriormente.

Ao analisar a periodização da política científica de diferentes países, Ruivo (1994) observa a existência de similaridades que, segundo a autora, podem ter sido causadas por influências de organizações internacionais (por exemplo, a OCDE - Organização para Cooperação Econômica e Desenvolvimento), que disseminam informações para os mesmos, contribuindo para a homogeneização das formas de gestão. Em se tratando do sistema de ciência e tecnologia, uma vez que a política científica abrange-o completamente, pôde-se atribuir à OCDE a influência fundamental, no âmbito da produção científica e sua avaliação, deve-se atribuir ao Institute for Scientific Information (ISI) (atual Thomson Scientific) o impulso que culminou no rumo tomado até o momento.

Criado na década de 60, o Science Citation Index (SCI) é a base internacional de maior repercussão na política científica de diversos países, que consentem com sua capacidade de representar a ciência mundial, ou a ciência da corrente principal (mainstream em inglês), como é referida. Na década seguinte é criado um subproduto do SCI, denominado Journal Citation Reports (JCR), concretizando em edições anuais a mais usada fonte de indicadores bibliométricos para avaliação de revistas científicas de todo o mundo, e consagrando o Fator de Impacto como principal indicador de qualidade. Além do Fator de Impacto, o JCR apresenta estatísticas detalhadas de citação de mais de 7 mil revistas.

Sua repercussão mais evidente no Brasil revela-se no Qualis, sistema de avaliação de revistas consolidado pela Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), que disponibiliza a classificação de todas as revistas em que os pesquisadores das principais instituições científicas do país publicam seus trabalhos, a cada triênio (COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES, 2009). Os critérios para classificação do nível das revistas de diversas áreas são definidos, em muitos casos, de acordo com o Fator de Impacto, indicador bibliométrico calculado a partir das citações recebidas nas bases do ISI, cuja coleção é composta principalmente por revistas publicadas em inglês. O contexto científico internacional representado naquelas bases não favorece as revistas brasileiras, cujo impacto não alcança o nível de revistas de países anglo-saxões.

Complementando esse cenário, o projeto SciELO (Scientific Eletronic Library Online)¹, criado em 1997 (PACKER et al., 1998), é uma base de acesso aberto de revistas eletrônicas, que reúne as principais revistas brasileiras e constitui-se o primeiro índice de citação do país. A utilização de bases nacionais para avaliação de revistas vem sendo testada, com vistas à concepção de indicadores complementares àqueles oferecidos pelo ISI (JIN; ROUSSEAU, 2004; MUGNAINI, 2006).

O Módulo de Bibliometria SciELO foi projetado inicialmente para oferecer indicadores similares aos do JCR, o que garantiria uma comparação de desempenho de revistas em ambos os contextos. A versão 2006 do JCR (Science Edition) contém 21 revistas brasileiras, das quais apenas duas não se encontram na SciELO.

Pelo fato da indexação de revistas na base SciELO ser automática, a comparação dos indicadores de uma revista também indexada pelo ISI permite a análise dos processos de indexação de cada base, no que diz respeito à identificação e contagem de citações a revistas, possibilitando adicionalmente avaliar as implicações associadas à política científica, em seus critérios específicos. Esses objetivos motivaram o desenvolvimento deste trabalho, que faz uso dos indicadores apresentados no Módulo de Bibliometria SciELO, e das bases do ISI - através do JCR Science Edition.

2 Metodologia

Foram comparados alguns indicadores bibliométricos respectivos à revista Memórias do Instituto Oswaldo Cruz (MIOC), publicados pelos dois índices de citação: SciELO, acesso online²; e Journal Citation Report (JCR), 1997-2004 pela versão em CD-ROM e 2005-2006 através da ISI Web of Knowledge, acesso online³. Utilizou-se o Microsoft Excel para a análise de dados e obtenção de resultados.

Buscou-se analisar as diferentes quantidades de artigos publicados em cada ano, assim como o número de citações recebidas de revistas indexadas em ambos os índices, com vistas à avaliação da variação de posição da revista nos rankings baseados no Total de Citações e no Fator de Impacto (FI JCR), nas categorias em que a revista está classificada.

A comparação da quantidade de citações recebidas considerou que, pelo fato de um índice ter iniciado a indexação de determinada revista antes do outro, deveriam ser considerados apenas os anos coincidentes, conforme apresentado na Quadro 1. Um exemplo refere-se à revista Neotropical Entomology, indexada pela SciELO desde 2001 e pelo JCR a partir de 2004, que teve apenas as citações de 2004 a 2006 (à MIOC) incluídas no estudo (anos representados pela cor branca no QUAD. 1, conforme legenda).

3 Resultados

Considerando-se a fórmula do Fator de Impacto - quociente entre o número de citações que os artigos de um ou dois anos de idade de determinada revista receberam no ano corrente e o número total de artigos publicados nos dois anos anteriores - verificou-se se a contagem dos itens que compõem, tanto o numerador quanto o denominador da fórmula, difere de um índice para outro, sugerindo um cálculo corretivo do Fator de Impacto.

Primeiramente, comparando os totais de artigos publicados no período de 1997 a 2006, segundo cada índice, pode-se observar que o JCR contabiliza um total de 39 artigos a mais que a SciELO, como se pode observar na TAB. 1. Por outro lado, nota-se uma diminuição da diferença entre o número de artigos nos últimos anos. Essa diferença entre os índices pode ocorrer devido à necessidade de distinção entre itens "citáveis" e "não-citáveis" (INSTITUTE FOR SCIENTIFIC INFORMATION, 2004). A metodologia do JCR diferencia itens citáveis (artigos originais ou de revisão) de não-citáveis (editoriais, cartas, entre outros documentos), justificando apenas que estes geralmente não são citados.

Porém, Archambault e Larivière (2007), que identificam as críticas mais freqüentes sobre o Fator de Impacto, em artigos das revistas indexadas pelo ISI, no período de 1995 e 2005, sinalizam que o conhecimento de tais peculiaridades vem guiando estratégias de editores, com vistas ao aumento do indicador. A identificação de itens não-citáveis pode diferir, segundo o processo de indexação específico de cada índice⁴, que os contabiliza ou não, como documentos que de fato irão compor o numerador, no cálculo do Fator de Impacto.

A contabilização das citações em um índice de citação depende da identificação dos títulos citados nas referências bibliográficas de um artigo, o que a SciELO realiza de forma automática, ao lançar mão de diversas técnicas de recuperação de informação (MUGNAINI, 2004). Apesar de não haver explicação clara sobre a metodologia do JCR, exercícios comparativos anteriores (MUGNAINI, 2006) mostraram que provavelmente o processo diferirá do correspondente ao JCR, podendo-se avaliar a magnitude dessas diferenças na TAB. 2.

Uma investigação da causa da diferença entre as citações concedidas pela revista Neotropical Entomology, em 2006, permitiu a constatação de que, enquanto a SciELO apresentava 136 artigos daquelas revistas naquele ano, o total no JCR era de 113. Parte das citações do JCR podem não ter sido contabilizadas pela ausência de parte dos artigos na base (o que pode ser devido à não consideração de alguns itens como citáveis, enquanto a SciELO os considerou).

Um indicador importante associado às revistas científicas é o total de citações recebidas em um ano. O GRÁF. 1 apresenta a distribuição percentual das citações concedidas à MIOC, segundo a base de indexação da revista que citou. A porção branca diz respeito às citações concedidas na SciELO (resultantes da correção), não contabilizadas no JCR (linha de totais da TAB. 2), permitindo a observação de que um decréscimo percentual vem ocorrendo ao longo dos anos, dado o constante aumento das citações à revista em estudo. Em preto, a classe outras revistas diz respeito às revistas que citaram a MIOC apenas uma vez, e por isso não são listadas pelo JCR, mas são acumuladas numa classe de "outros títulos".

O Fator de Impacto JCR é apresentado na TAB. 3, juntamente com o Fator de Impacto Corrigido. A correção consiste da soma (ou subtração) da diferença entre as quantidades de artigos e citações nos dois índices. A menor quantidade de artigos na SciELO faz com que o FI aumente, uma vez que se localiza no denominador do quociente. O mesmo efeito é produzido pelo aumento do numerador, ao se encontrar um maior número de citações na SciELO. Os anos de 1998 e 2006 são os únicos onde houve um decréscimo do valor do indicador, após a correção.

De posse do total de citações e do Fator de Impacto corrigidos, buscou-se um parâmetro que permitisse avaliar a repercussão da correção. Outro indicador associado a estes é a posição ocupada pela revista entre as outras da mesma categoria temática. Pelo fato da MIOC pertencer a duas categorias, foram analisados os rankings de cada categoria, segundo cada um dos indicadores, para verificar se a correção ocasiona a mudança de posição, o que pode ser observado no QUAD. 2.

As mudanças de posição no ranking estão concentradas principalmente no ano de 2001, quando a correção ocasiona a subida de um posto, não importando o indicador considerado. A mudança mais expressiva se dá no ano 2002, no ranking de Parasitologia, baseado no Fator de Impacto, quando a revista sobe duas posições; contudo não se observa o mesmo fato no ranking do total de citações.

Observando as posições no ranking, a cada ano, pode-se notar que a MIOC vem subindo, principalmente ao se considerar o total de citações, atingindo a sexta posição em 2006. Porém, suas 2.858 citações, mesmo corrigidas (passando a 2.900), estão longe de se aproximar da revista que a antecede - Veterinary Parasitology -, que recebeu 5.563 citações. Este patamar aparentemente intransponível não é observado no ranking de Fator de Impacto, que em 2006 apresenta os valores 1,208 (para MIOC) e 1,3 (para a revista acima - Journal of Parasitology).

Dentre os critérios utilizados na política científica brasileira, para algumas áreas que classificam a revista MIOC, encontram-se valores pontuais do Fator de Impacto atingido para atribuição do melhor nível de classificação (A): Ciências Biológicas II exige que FI > 1,35; Ciências Biológicas III, FI >= 1,945; Ecologia e Meio Ambiente, FI > 0,65. Há também as áreas de Medicina, que tomam a mediana como parâmetro para atribuição da classificação.

Ou seja, para o caso da MIOC, as correções realizadas não permitiram observar nenhum caso em que a revista pudesse ser classificada com nível A, devido à correção. Porém, isto pode ocorrer com qualquer revista, que, por não ser de nível A, certamente deixará de receber parte dos melhores artigos da comunidade científica.

4 Conclusões

A correção dos indicadores associados à revista Memórias do Instituto Oswaldo Cruz mostrou que as diferenças proporcionadas pelos índices de citação foram mais expressivas no ano de 2001, tendo diminuído nos últimos anos. Esta diminuição confere confiabilidade a ambas as bases, validando seus sistemas para produção de indicadores de produção científica.

Por outro lado, os critérios de avaliação, a exemplo daqueles praticados na política científica nacional, não deveriam se basear em valores pontuais de Fator de Impacto, pois a classificação pode ser errônea, devido a pequenos erros de ordem metodológica, como se pôde observar. Deve-se destacar também que as correções aplicadas neste estudo limitaram-se às citações originadas de revistas SciELO indexadas no JCR, que, segundo o GRÁF. 1, não representam a maior proporção das citações. Outras fontes de erro poderiam ser avaliadas, inclusive de outras revistas, permitindo validar estes dados tão utilizados mundialmente para avaliação de produção científica.

Indicadores complementares vêm sendo propostos internacionalmente, como o índice-H para revistas e o SJR (SCImago), porém a comunidade brasileira deve submeter tanto estes como o próprio Fator de Impacto à critica, à luz do contexto científico nacional. Esse parâmetro pode ser buscado em índices nacionais, como a SciELO, e em outras fontes de dados, como a Plataforma Lattes, que pode prover importantes indicadores neste sentido. Tais esforços, além de criar uma massa crítica para a implementação do sistema avaliativo, revelam peculiaridades ainda encobertas.

Recebido em 16.06.2009

Aceito em 04.12.2009

• ARCHAMBAULT, E.; LARIVIÈRE, V. Origins of measures of journal impact: historical contingencies and their consequences on current use. In : INTERNATIONAL CONFERENCE OF THE INTERNATIONAL SOCIETY FOR SCIENTOMETRICS AND INFORMETRICS, 11., 2007, Madrid. Proceedings... Madrid : CINDOC-CSIC, 2007. p. 45-50.
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). QUALIS, BBS Disponível em: <http://qualis.capes.gov.br/webqualis/>. Acesso em: 16 jun. 2009.
• INSTITUTE FOR SCIENTIFIC INFORMATION (ISI). Journal Citation Reports 2003 Philadelphia: Institute for Scientific Information (ISI), 2004. CD-ROM.
• JIN, B.; ROUSSEAU, R. Evaluation of research performance and scientometric indicators in China. In: MOED, H. F.; GLÄNZEL, W.; SCHMOCH, U. (Eds.) Handbook of quantitative science and technology research: the use of publication and patent statistics in studies of S&T systems. Dordrecht: Kluwer Academic Publishers, 2004.
• MUGNAINI, R. Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional. São Paulo, 2006. 253 f. Tese (Doutorado em Ciência da Informação) - Escola de Comunicações e Artes. Universidade de São Paulo. Disponível em: <http://poseca.incubadora.fapesp.br/portal/bdtd/2006/2006-do-mugnaini_rogerio.pdf>. Acesso em: 16 jun. 2009.
• MUGNAINI, R. et al. Citations titles standardization using information retrieval techniques. In: JOURNEES INTERNATIONALES D'ANALYSE STATISTIQUE DES DONNEES TEXTUELLES, 7., 2004, Louvain-la-Neuve. Annales... Louvain-la-Neuve: Presses Universitaires de Louvain, 2004. p. 824-830. Disponível em: <http://www.cavi.univ-paris3.fr/lexicometrica/jadt/jadt2004/pdf/JADT_079.pdf>. Acesso em: 16 jun. 2009.
• PACKER, A. L. et al. SciELO: uma metodologia para publicação eletrônica. Ciência da Informação,  Brasília,  v. 27,  n. 2, p. 109-121, 1998.
• RUIVO, B. 'Phases' or 'paradigms' of science policy? Science and Public Policy, v. 21, n. 3, p. 157-164, jun. 1994

Influências metodológicas na mensuração de impacto: o caso das Memórias do Instituto Oswaldo Cruz e sua "qualificação"

Methodological influences on impact measurement: the case of Memorias do Instituto Oswaldo Cruz and its "qualification"

1

A SciELO Brasil (

www.scielo.br) é o resultado de um projeto de pesquisa da FAPESP - Fundação de Amparo à Pesquisa do Estado de São Paulo, em parceria com a BIREME - Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde. A partir de 2002, o Projeto conta com o apoio do CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico. Diversos países ibero-americanos estão adotando a Metodologia SciELO, o que pode ser observado num portal em operação no

www.scielo.org, que integra e provê acesso à rede de sites SciELO.

2

Disponível em: <

http://statbiblio.scielo.org/stat_biblio/index.php?lang=pt>. Acesso em: 24 nov. 2009.

3

Disponível em: <

http://portal.isiknowledge.com>. Acesso em: 24 nov. 2009.

4

Com o objetivo de proporcionar análises comparativas entre as bases, a SciELO desconsidera os itens não-citáveis, a exemplo do ISI, operação que certamente causa incongruência.

Datas de Publicação

• Publicação nesta coleção
  13 Jul 2010
• Data do Fascículo
  Dez 2009

Histórico

• Aceito
  04 Dez 2009
• Recebido
  16 Jun 2009