As dimensões da qualidade dos periódicos científicos e sua presença em um instrumento da área da educação

Las dimensiones de la calidad de los periódicos científicos y su presencia en un instrumento en la área de la educación

Dimensions of the quality of scientific journals and their presence in an evaluation instrument for the field of education

ESPAÇO ABERTO

As dimensões da qualidade dos periódicos científicos e sua presença em um instrumento da área da educação

Dimensions of the quality of scientific journals and their presence in an evaluation instrument for the field of education

Las dimensiones de la calidad de los periódicos científicos y su presencia en un instrumento en la área de la educación

Piotr Trzesniak

Universidade Federal de Itajubá, Departamento de Física e Química

RESUMO

Mencionam-se as circunstâncias do ambiente acadêmico que envolvem a necessidade de avaliação de periódicos científicos. Propõe-se o desdobramento da qualidade dos periódicos em quatro dimensões, duas já consagradas (técnico-normativa, ou forma, e de finalidade, ou conteúdo) e duas novas (processo produtivo e de mercado). As quatro têm sua independência discutida, são conceituadas, discriminadas e exemplificadas, citando-se casos em que são empregadas na prática. Analisa-se também um instrumento de avaliação de periódicos empregado pela área de educação pela óptica das quatro dimensões, nelas situando cada um dos 32 itens que o instrumento apresenta. Conclui-se com uma reavaliação "pós-aplicação" do desdobramento proposto; propostas de modificações no instrumento analisado, tendo em vista da análise dele efetuada; e uma rápida introdução às eventuais vantagens de empregar-se a visão das quatro dimensões também no âmbito dos periódicos eletrônicos.

Palavras-chave: qualidade de periódicos científicos; avaliação de periódicos científicos; periódicos científicos eletrônicos

ABSTRACT

We refer to the circumstances of the academic environment which require the evaluation of scientific journals. We suggest the deployment of the quality function of these journals in four dimensions, two of which are well known (standardization or form, and purpose or content) and two which are new (production process and customer evaluation). The independence of the four dimensions is discussed, together with their concepts, the way they can be evaluated in practice and examples of entities which effectively use them. An instrument for the evaluation of scientific journals, used by the field of education, has each one of its 32 items analysed from the four dimensional optic and associated with one or more of the latter. We conclude with (i) a "post-application" discussion on the deployment; (ii) proposals for changes that can be made to the evaluation instrument examined, bearing in mind the analysis carried out; and (iii) a quick introduction to the eventual advantages of also employing the four dimensional approach in the ambit of electronic journals.

Key-words: quality of scientific journals; evaluation of scientific journals; electronic scientific journals

RESUMEN

Se mencionan las características del ambiente académico que envuelve la necesidad de evaluación de periódicos científicos. Se propone el despliegue de la calidad de los periódicos en cuatro dimensiones, dos ya consagradas (técnico-normativa, o forma, y de finalidad, o contenido) y dos nuevas (proceso productivo y de mercado). Las cuatro tienen su independencia discutida, son conceptuadas, discriminadas y ejemplificadas, aludiéndose a casos en que son empleadas en la práctica. Se analiza también un instrumento de evaluación de periódicos empleado por la área de educación sobre la óptica de las cuatro dimensiones, en ellas situando cada uno de los 32 itens que el instrumento presenta. Se concluye con una reavaliación "pos-aplicación" del desdobramiento propuesto: propuestas de modificaciones en el instrumento analizado, teniendo en vista del análisis por el efectuado; y una rápida introducción a las eventuales ventajas de emplearse la visión de las cuatro dimensiones también en el ámbito de los periódicos electrónicos.

Palabras claves: calidad de periódicos científicos; evaluación de periódicos científicos; periódicos científicos electrónicos

1. Avaliar periódicos: quem, quando, para quê?

A avaliação de periódicos certamente não é atividade recente. Desde sempre, quando um autor pondera, dentre várias revistas, para qual irá enviar seu mais novo "compuscrito"¹ (ou, antigamente, "manuscrito") está, implicitamente, realizando uma avaliação (se bem que esporádica, informal e quase sempre sem critérios objetivos). Igualmente, quando atua em bancas de concurso ou em julgamento de pedidos de auxílios e bolsas, e valoriza diferentemente os artigos publicados nos vários veículos, o pesquisador está avaliando esses veículos (a rigor, está transferindo ao artigo o conceito ou preconceito que tem da revista, mas esse é outro aspecto, que não se pretende abordar aqui).

Já há décadas, também pesquisadores-editores brasileiros vêm atuando na avaliação de periódicos para agências de fomento, relativamente à concessão de financiamento. As principais referências para a história dessa prática (Oliveira, 1989; Valerio, 1994; Krzyzanowski, Krieger & Duarte, 1991) somente tratam com algum detalhe as iniciativas mais amplas e sistemáticas: os programas de 1980 da FINEP (Financiadora de Estudos e Projetos), de 1982 do CNPq (Conselho de Desenvolvimento Científico e Tecnológico),² e de 1985 da FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo). Fazem, porém, alusões a concessões anteriores desses órgãos, que datariam, então, da década de 1970 e do início da de 1980, e que eram julgados pelos comitês das áreas de conhecimento. É lícito supor que tais concessões decorressem da apresentação de projetos cuja análise envolvesse avaliação das publicações solicitantes por pesquisadores. FAPESP e CNPq também lançam mão, em maior ou menor grau, de avaliações por especialistas da área de biblioteconomia e ciência da informação (Krzyzanowski & Ferreira, 1997, 1998).

É também de 1982 uma segunda frente institucional de demanda de avaliação de periódicos científicos: a dos indexadores. Esse ano registra a criação da base LILACS (Literatura Latino-Americana e do Caribe em Ciências de Saúde) pelo BIREME (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde). A LILACS é uma base cujas características e objetivos a fazem mais exaustiva do que seletiva (Castro, Ferreira & Vidili, 1996), o que coloca o foco principal da avaliação para ingresso e permanência em aspectos técnico-normativos. Ela não exige, portanto, um grande envolvimento de pesquisadores especialistas de cada área do conhecimento. No entanto, trata-se de uma avaliação diferenciada, visando a uma nova finalidade - indexação em lugar de financiamento. Quando o mesmo BIREME, em parceria com a FAPESP, cria a SciELO (Scientific Electronic Library Online) em 1996, agora um indexador de características eminentemente seletivas, a participação de especialistas das áreas (ad hoc) nas avaliações passa a ter um peso mais significativo (SciELO, 2004, Seção 5.2.1).

Finalmente, e aproximadamente na mesma época (1996-1997) em que nascia a SciELO, porém visando à avaliação dos programas de pós-graduação do Brasil, a CAPES (Coordenação de Aperfeiçoamento do Pessoal do Ensino Superior) propôs a criação da base Qualis, uma classificação duplamente hierárquica dos veículos que publicam os resultados da pesquisa produzida pelos cursos de mestrado e doutorado do país. Solicitou-se a cada área do conhecimento que atribuísse um indicador de qualidade (A, B ou C) e um de âmbito (internacional, nacional ou local) às revistas que os programas de pós-graduação indicassem como tendo recebido publicações durante o período avaliado. A classificação é duplamente hierárquica por se tratar de critérios independentes: A é sempre superior a B, que é melhor do que C, e internacional é superior a nacional, que "ganha" de local. Isso coloca internacional A como o nível mais alto, e local C como o mais baixo. No entanto, uma área pode privilegiar o âmbito, pontuando internacional B mais do que nacional A, enquanto outra prefira enfatizar a qualidade, fazendo o contrário. A título de ilustração, o Quadro 1 mostra que, atribuindo-se pontuação idêntica a mais de uma das combinações de (qualidade x âmbito) permitidas no Qualis, consegue-se reduzir para cinco os nove níveis hierárquicos possíveis.

Entre todas as situações até aqui descritas, foi sem dúvida o Qualis que veio "popularizar" a avaliação formal, explícita e criteriosa de periódicos entre os pesquisadores. Se antes esta atividade, nesse nível, era de prática e interesse restritos a editores e especialistas, de repente se tornou preocupação dos integrantes dos comitês de área da CAPES e, não muito depois, se bem que em menor intensidade, de todos os docentes de programas de pós-graduação do Brasil. Atualmente, é incomum um pesquisador, ao encaminhar um artigo, não levar em conta a classificação Qualis do periódico. É cada vez mais comum ele se interessar acerca de como a avaliação Qualis é feita e em que critérios ela se baseia.

A idéia deste artigo é colocar o leitor no papel dos dois tipos de atores (pesquisador de uma certa área ou profissional de biblioteconomia e de ciência da informação) que atuam na avaliação de periódicos científicos, e o modo como trabalham nos diversos momentos e para as diferentes finalidades (publicação, busca de informação, recomendação para aquisição, julgamento de projetos de pesquisa e de concursos, inclusão em indexadores, concessão de financiamento, e construção de hierarquias ou rankings).

Na próxima seção é apresentada uma visão do desdobramento da qualidade dos periódicos em quatro dimensões básicas, determinadas a partir de combinações diferentes e não superpostas dos aspectos (i) quem avalia, (ii) o que é avaliado e (iii) como se avalia.

2. As quatro dimensões da qualidade dos periódicos científicos

Como principais características positivas de esquemas conceituais, têm-se a capacidade de modelar um grande elenco de situações reais e a de não exigir grandes modificações nos aspectos essenciais para contemplar novas instâncias. Como descrito na seção anterior, existem diversas situações reais de avaliação de revistas científicas, diferenciadas pelo propósito a que se destinam (publicação, financiamento, hierarquia, indexação) e, mais recentemente, também pela mídia de suporte que utilizam (impressa, eletrônica web ou não web, mais de uma dessas).

A observação e a participação em avaliações de periódicos para todos os fins citados, bem como as discussões e o trabalho associados ao desenvolvimento e à aplicação de critérios para as emergentes variedades de revistas eletrônicas, permitem propor que a qualidade desses veículos se estruture sobre quatro dimensões básicas: a de adequação técnico-normativa do produto, a de finalidade do produto, a de processo de produção e a de mercado. Dessas, as duas primeiras são as tradicionalmente contempladas, se bem que com variadas denominações (Stumpf, 2003): forma e conteúdo, desempenho e mérito, extrínsecas e intrínsecas, materiais e científicas (ou intelectuais), respectivamente. As outras duas são novas em termos de conceituação, embora o estudo de um instrumento representativo de avaliação de periódicos, apresentado adiante, revele que, indireta e parcialmente, acabem por integrar os procedimentos empregados na prática. Identificar essas novas dimensões com clareza enseja, porém, uma nova visão sobre a análise e a interpretação de critérios já empregados, bem como a introdução de outros, novos, mais específicos, diretos, completos e eficazes.

Mas existem efetivamente quatro dimensões; e são elas independentes? Quanto à existência, deve-se procurar os aspectos críticos que diferenciem as quatro, e eles existem. Por exemplo, na forma de avaliar: para as duas primeiras (ambas de produto) precisa-se examinar um ou mais fascículos físicos ou o site; para a terceira examina-se como a revista é feita, a sua retaguarda de produção; e, para a última (mercado), consultam-se pessoas, usuários, clientes. Outra diferença está nos procedimentos que promovem, que melhoram cada dimensão: para a técnico-normativa, respeito a normas; para a finalidade de produto, seleção criteriosa do conteúdo científico; para a do processo de produção, treinamento de equipe, documentação dos padrões de execução de tarefas e obediência dos executores a esses padrões; para a de mercado, divulgação, indexação e marketing.

Com respeito à independência, é preciso considerar que este conceito não exige ausência de interação. Um bom processo de produção, a adequada obediência às normas e uma criteriosa seleção de conteúdo geram um bom produto, com um ótimo potencial de efetivamente conquistar o mercado. No entanto, o mercado é governado por influências outras, não apenas pela qualidade do produto. Propaganda, por exemplo, e a política o ilustra: infelizmente, eleições são ganhas pela imagem que os "marqueteiros" impingem aos votantes, bem mais do que pelos atributos e virtudes efetivos dos candidatos. E é esse o critério da independência: é possível que uma dimensão varie ou exista sem a influência, sem a simultânea variação ou existência das demais. No momento em que um produto pode desfrutar de uma avaliação positiva do mercado, mesmo sem ter as qualidades que o justifiquem, as dimensões de produto e de mercado se caracterizam como independentes.

Então, para estabelecer a independência das dimensões citadas em cada uma das questões a seguir, basta que a resposta a uma delas seja sim: é possível que uma revista perfeitamente normalizada tenha um conteúdo científico fraco? É possível que uma revista de excelente conteúdo científico deixe a desejar em aspectos críticos de normalização? É possível que uma revista perfeitamente normalizada seja rejeitada pelo mercado? (E assim por diante).

A independência existe quando a possibilidade de variação independente existe. Ela não exige que uma dada dimensão nunca dependa ou nunca esteja condicionada pela(s) outra(s) em todos os casos concretos.

2.1. A dimensão técnico-normativa (ou de características do produto, ou de forma)

2.1.1. Fundamentos da dimensão técnico-normativa

Essa dimensão pressupõe a existência de uma ou mais normas (como, por exemplo, as da ABNT (Associação Brasileira de Normas Técnicas), listadas no Quadro 2, que se complementam e que devem ser atendidas pela publicação.

A escolha de um conjunto de normas específico, porém, é prerrogativa da área de conhecimento. Muitas publicações da área da saúde, por exemplo, optam pelas recomendações do International Committee of Medical Journal Editors (originalmente Grupo de Vancouver; ICMJE, 2005), enquanto as revistas da psicologia preferem os padrões da American Psychological Association (APA, 2001). Observe-se que a obediência a critérios internacionalmente aceitos pode ser positiva para que a revista ganhe visibilidade fora do Brasil. Finalmente, a área pode ter tradições ou hábitos que cumpre respeitar na avaliação, ainda que não constem em nenhuma norma ou que não sejam propriamente ortodoxos. Por exemplo, as ciências exatas fazem referências de modo extremamente enxuto (sobrenomes dos autores, abreviatura da revista, volume, página inicial, ano), e a psicologia, na autoria múltipla, emprega o caractere especial & em lugar do óbvio e.

2.1.2. Como se avalia a dimensão técnico-normativa

Trata-se de uma avaliação que se faz examinando os fascículos, preferencialmente os três regulares mais recentes (números especiais podem não espelhar adequadamente a rotina da publicação).

A forma de realizar a avaliação é bastante similar, independentemente da área do conhecimento envolvida. Ela pode ser padronizada e automatizada de modo a ser aplicada uniformemente a periódicos de todas as especialidades, e ser executada por técnicos treinados (não precisam ser pesquisadores da área).

2.1.3. A dimensão técnico-normativa é avaliada na prática?

A avaliação da dimensão técnico-normativa integra os procedimentos de avaliação de agências de fomento (CNPq, FAPESP), de indexadores (SciELO) e de hierarquizadores (Qualis/CAPES da psicologia, da educação e da administração, entre outras áreas).

Durante vários anos, o Grupo de Assessoramento Editorial (GAE) do CNPq, a primeira instância de análise de pedidos de auxílio para a publicação de periódicos, empregou com muita eficácia e sucesso um procedimento de avaliação semi-automatizado dessa dimensão. O não-cumprimento de algum requisito técnico normativo era registrado num programa de computador que automaticamente gerava recomendações (construtivas) para que o editor avaliasse a conveniência de passar a atendê-lo.

2.2. A dimensão finalidade do produto (ou de conteúdo)

2.2.1. Fundamentos da dimensão finalidade do produto

Esta dimensão está ligada a como e quão bem o periódico cumpre a sua finalidade, enunciada na sua política editorial e sintetizada na sua missão. Em termos gerais, é atendida através da publicação de informação científica recente, inédita e relevante para o público-alvo da publicação. Note-se que essa conceituação contempla o sentido amplo de revista científica, abrangendo tanto a ortodoxa (na qual o foco está na pesquisa na área do conhecimento) como as que se dedicam, por exemplo, ao ensino da especialidade ou à inovação tecnológica.

Um elemento indispensável do atendimento desse aspecto da qualidade é a prática da revisão pelos pares (ou, no inglês consagrado, do peer review), sem a qual a revista sequer é reconhecida como científica. A responsabilidade pela execução séria e dedicada do peer review e dos demais procedimentos associados é do editor e de sua equipe, a quem cabe, então, em essência, comandar o processo e garantir que a revista cumpra sua finalidade com a máxima qualidade.

A qualidade da finalidade do produto é favorecida pelos seguintes indicadores indiretos, freqüentemente incluídos como itens de avaliação:

a) um corpo editorial científico altamente qualificado, que cubra bem a área de abrangência temática do periódico, que seja diversificado institucional e geograficamente (aspectos relativamente fáceis de avaliar) e que se envolva na revisão dos "compuscritos" (o envolvimento efetivo não é fácil de avaliar...);

b) consultores ad hoc com boa qualificação e com diversidade geográfica e institucional;

c) um respaldo científico institucional (associação, departamento, programa) qualificado, sério e atuante;

d) um regulamento que contemple explicitamente e favoreça a perenidade da publicação;

e) um mecanismo de sucessão de editor em que os aspectos técnico-científicos predominem amplamente sobre quaisquer outros.

2.2.2. Como avaliar a dimensão finalidade do produto

No Quadro 3 apresenta-se um comparativo entre as duas dimensões da qualidade de produto da revista científica, ressaltando as diferenças entre elas. Por outro lado, elas têm também uma semelhança: para avaliá-las, é necessário examinar os fascículos ou o site da publicação.

Estritamente, a avaliação da dimensão finalidade exigiria que o conteúdo de vários números fosse examinado por pesquisadores da área. Isso, no entanto, já é feito pré-publicação, na revisão pelos pares. É, além disso, de difícil execução na prática, pois envolve o tempo do pesquisador (mais de um, para minimizar a subjetividade).

A alternativa prática acaba sendo então avaliar os indicadores indiretos, mais comumente a e b (corpo editorial e consultores ad hoc), com menor ênfase c (respaldo institucional) e, muito raramente, d e e (regulamento e escolha do editor, cf. seção 2.2.1). Isso significa basear a concessão ou não de credibilidade ao conteúdo quase que exclusivamente no conceito desfrutado pelas pessoas que são apontadas como responsáveis por ele e presume que elas efetivamente nele se envolvam. Está justamente neste último aspecto a maior crítica a essa forma indireta de avaliar: é relativamente fácil apresentar um corpo editorial repleto de nomes "importantes" (o que é avaliado), mas é difícil ou muito pouco prático determinar, na avaliação, até que ponto esses nomes "importantes" de fato se dedicam à revista e zelam pelo que é nela publicado.

2.2.3. A dimensão finalidade do produto é avaliada na prática?

A avaliação dos indicadores indiretos dessa dimensão, especialmente a, b e c, é tão habitual, freqüente e comum quanto a dos aspectos técnico-normativos, ocorrendo no âmbito das agências (CNPq, FAPESP), dos indexadores (SciELO) e dos hierarquizadores (Qualis/CAPES).

Quanto a avaliações no sentido estrito, a SciELO convoca especialistas para tal fim com alguma regularidade (e dificuldade, pelas razões já apontadas). No âmbito do Qualis, a Comissão Nuclear de Avaliação da ANPEd - etapa 2003 registra em seu relatório (ANPEd, 2004) ter consultado especialistas da área³ para subsidiar a avaliação de relevância e impacto dos periódicos de maior qualidade, classificados como Nacional A. Encontram-se ainda, na literatura, registros de avaliações no sentido estrito, realizadas por iniciativas (eventuais) da FAPESP (Krzyanowski, Krieger & Duarte, 1991) como do CNPq (Krzyzanowski & Ferreira, 1997; 1998).

Uma inovação, cuja inclusão nos procedimentos do GAE do CNPq chegou a ser cogitada,⁴ seria verificar em que grau, num primeiro passo, os títulos dos artigos publicados traduziriam adequadamente a missão e a política editorial do periódico. Caso se mostrasse interessante, o procedimento poderia depois envolver o exame dos resumos e, no extremo, até dos textos integrais dos trabalhos.

2.3. A dimensão qualidade do processo produtivo

2.3.1. Fundamentos da dimensão qualidade do processo produtivo

É a qualidade associada à execução dos procedimentos editoriais de modo sistemático, completo, eficiente, eficaz e transparente. Inspira-se na idéia da qualidade total das empresas, construída sobre os pressupostos bom processo ® produto de qualidade ® conquista do mercado. Veja-se que há um peso maior em como fazer do que em o que fazer, embora o primeiro pressuponha o último.

O cumprimento dessa dimensão implica a existência de um manual de procedimentos da qualidade, que documente todos os passos associados à produção da revista e que seja escrupulosamente obedecido pela equipe de trabalho. Observe-se que isso é muito mais do que dispor de alguns formulários e certas cartas-padrão. O momento e a forma de empregar cada um, o que pode e o que não pode ser inserido nos diversos campos, o próximo passo/pessoa que irá lidar com um documento etc., têm que também estar definidos por escrito, e não residir apenas na cabeça do editor e das pessoas que com ele colaboram.

Uma documentação bem preparada agiliza o processo editorial, favorece o trabalho em equipe e assegura a perenidade da publicação quando algum dos integrantes precisa ser substituído.

2.3.2. Como avaliar a dimensão qualidade do processo produtivo

Antes de discutir como esta dimensão pode ser avaliada, é preciso dizer que um número significativo de revistas sequer possui um regulamento geral, menos ainda diretrizes escritas de procedimentos acerca do processo editorial. Elas têm, no máximo, uma rotina operacional. O editor, eventual, mas não necessariamente, conhece todas as fases e vai orientando seus colaboradores até que eles "peguem o jeito". Em conseqüência disso, é muito freqüente que periódicos percam qualidade, atrasem e até morram quando seu editor é substituído.

A forma mais completa de verificar o atendimento dessa dimensão é realizar uma auditoria da qualidade na secretaria de redação e acompanhar o trabalho do editor e de sua equipe. Nas empresas, isso é feito por especialistas externos que, estando tudo conforme, concedem uma certificação de acordo com a norma internacional pertinente (a ISO 9000, por exemplo). Claramente, isso carece de viabilidade prática em todas as situações de avaliação de revistas científicas. No entanto, avaliadores à distância poderiam solicitar e analisar alguns documentos básicos acerca da revista, como o regulamento geral, os critérios de seleção do editor e os integrantes do corpo científico, a ficha de avaliação para pareceres ad hoc e o fluxograma do processo editorial.

Com a popularização dos sistemas informatizados de gestão editorial (não administrativa) de revistas científicas, como o SEER/OJS (Sistema Eletrônico de Editoração de Revistas/Open Journal System), gratuitamente disponível em português graças ao empenho do IBICT (Instituto Brasileiro de Informação em Ciência e Tecnologia),⁵ o acompanhamento e a avaliação do processo editorial fica bem mais viável. O sistema eletrônico é útil, eficaz, mas certamente não é milagroso: empenho, dedicação e seriedade da equipe continuam fundamentais para um resultado de sucesso.

2.3.3. A dimensão qualidade do processo produtivo é avaliada na prática?

A proposta de periodicidade e seu cumprimento são itens que integram praticamente todas as avaliações e certamente refletem a eficácia do processo produtivo: apenas uma revista com bom fluxo de produção ousa se proclamar, por exemplo, bimestral, e cumpre tal meta.

Alguns instrumentos pedem as datas de recebimento e de aceitação dos artigos, como item de normalização porém, e não para avaliar se o intervalo (em média) é razoável ou não, o que seria também um item de eficácia de processo.

2.4. A dimensão qualidade de mercado

2.4.1. Fundamentos da dimensão qualidade de mercado

É a qualidade que o consumidor, o usuário, atribui ao produto, exista ela ou não. Quando tal qualidade existe, o mercado reconhecê-la é normal. Mas é possível alguém atribuir a um produto uma qualidade que não existe? A resposta é sim, e uma forma de ilustrar a idéia é lançando mão do ditado popular "fazer a fama e deitar-se na cama". Considere-se uma associação científica que publica uma revista, a qual, ao longo de muitos anos, tornou-se referência obrigatória e respeitada em sua área temática. De repente, ocorre algo que leva seu conteúdo a perder o seu padrão tradicional. É muito possível que, por algum tempo (que pode chegar a anos), o conceito da revista no mercado permaneça muito bom. Outro exemplo seria essa associação lançar uma segunda revista. Independentemente do como ela efetivamente fosse, seria recebida como de boa qualidade. Se ainda restam dúvidas, é só pensar em como funcionam, por exemplo, a indústria televisiva ou certas marcas de eletrodomésticos: todo programa ou produto que lançam é tomado como bom a priori, um candidato de sucesso garantido.

Uma característica interessante dessa dimensão é que, às vezes, sua valorização é diferente no discurso e na ação. Voltando a revistas, muitos pesquisadores dizem que revistas nacionais são importantes e devem receber apoio dos órgãos de fomento (discurso), mas atribuem pontuação inferior aos trabalhos nelas publicados quando integram comissões julgadoras de concursos, bem como nas avaliações de outros pesquisadores, de projetos ou de instituições (ação). E os que fazem aquela afirmação são em número bem menor dos que efetivamente publicam nelas, as lêem, as citam (o que seria fundamental fazer muito mais) ou as recomendam às bibliotecas para aquisição (ações). Em suma, o fato de o consumidor dizer que o produto é bom não necessariamente o leva a adquiri-lo ou a recomendá-lo aos seus pares.

Para atingir o sucesso, o desenvolvimento do mercado é tão relevante quanto dispor de um bom produto. A busca das indexações, ou seja, das inclusões em bases de dados de ampla visibilidade, assim como todos os esforços despendidos na divulgação do periódico, correspondem a trabalhar essa dimensão. No entanto, nenhuma iniciativa é tão eficaz como expor a revista na internet com profissionalismo, o que implica dispor de mecanismo de busca e de metadados⁶ de qualidade. As duas necessidades podem ser atendidas adotando-se um sistema eletrônico de retaguarda editorial, como o antes citado SEER, do IBICT. A SciELO vem também preparando a sua alternativa para esta finalidade.

Uma boa imagem de mercado pode até levar um produto muito bom a ser superado por outro, que na realidade lhe seja inferior. Para ficar no plano da lenda, afirma-se que, como alimento, o ovo de pata é até superior ao de galinha (que também é bom). Esta, no entanto, tem muito mais sucesso, uma vez que ela cacareja após botar seu ovo, e a pata, não. Similarmente é um recurso de mercado, embora de outra ordem, que leva o ovo da pequena codorna a ganhar do da pata também.

2.4.2. Como avaliar a dimensão qualidade de mercado

Como primeira característica diferencial, relativamente às dimensões técnico-normativa e de produto, antes discutidas, a avaliação da qualidade de mercado não envolve o exame dos fascículos da publicação.

Uma tentativa, que suscita bastante discussão entre os pesquisadores, envolve a contagem de citações, particularmente um indicador denominado fator de impacto. Um mesmo periódico (seja ACR seu acrônimo) tem vários fatores de impacto i_ACR,R,n a cada ano (R), dependendo do período (n) sobre o qual o seguinte cálculo é realizado:

Por exemplo, para a Revista Brasileira de Educação (acrônimo RBEdu), o fator de impacto de três anos, relativo a 2005, seria dado por:

Para ter um bom panorama do desempenho da publicação a curto e médio prazo, seria preciso dispor do fator de impacto para dois, cinco e dez anos.

A maior limitação dos fatores de impacto é o que seu cálculo apenas se torna viável no contexto de bases de dados em que os procedimentos possam ser automatizados. Assim, não são ainda, neste ano de 2006, nem mesmo abrangentes, que dirá exaustivas. O ISI (Institute of Scientific Information) calcula fatores de impacto de muitas revistas de circulação internacional e os publica periodicamente no seu Journal Citation Report (JCR). A SciELO mantém estatísticas, disponíveis online,⁷ de acessos, citações e fatores de impacto de dois e de três anos, determinados no âmbito de sua coleção.

Uma abordagem bastante diferente, nascida, segundo seus propositores, do fato de o JCR não refletir efetivamente a avaliação das revistas que recebem os artigos das ciências humanas produzidos na França é a proposta das enquetes, coordenada por Jeannin (2002) naquele país. Nelas pede-se aos pesquisadores das áreas que respondam às seguintes duas perguntas sobre cada periódico incluído numa lista previamente elaborada: Esse é um periódico A? Esse é um periódico B? As respostas aceitas são sim, não e não desejo responder, e há uma breve introdução, preparada pela própria área, com um enunciado subjetivo do que deve ser entendido como revista A e como revista B.

A enquete é uma avaliação de mercado nítida e direta. Ela capta a percepção que os pesquisadores têm das revistas, latente na comunidade, e a explicita e formaliza. A percepção pode ter sido adquirida pelos respondentes através dos mais variados meios: ouvir dizer, influência de colegas, trabalho de marketing do periódico, credibilidade da instituição publicadora, notoriedade científica do editor ou dos integrantes do corpo científico, leitura de um artigo marcante e até eventualmente (mas apenas eventualmente), pelo exame crítico de algum fascículo completo, ou seja, mediante a execução de uma avaliação de produto estrita.

Além desse mérito intrínseco como ferramenta de avaliação, a enquete é abrangente em termos do universo de periódicos avaliados, não se limitando a um elenco de revistas que integram uma base limitada e precisam ser acompanhadas por muitos anos, como é o caso na apuração do impacto. E, também por essa razão, é bem mais simples de operacionalizar.

2.4.3. A dimensão qualidade de mercado é avaliada na prática?

Várias áreas da CAPES baseiam o seu Qualis exclusivamente no JCR do ISI. Os Comitês CAPES de Psicologia e de Administração, Contabilidade e Turismo têm-se preocupado em buscar alternativas para a avaliação de mercado (impacto), estando neles em discussão o emprego de uma enquete inspirada na experiência francesa, porém adaptada às peculiaridades nacionais e executada por via eletrônica.

3. As dimensões da qualidade num instrumento de avaliação de periódicos científicos da área de educação

Para ilustrar e exemplificar o grau de presença da avaliação das quatro dimensões da qualidade num instrumento empregado na prática, será analisada a ficha empregada pela área da educação para classificar seus periódicos e montar o Qualis referente ao triênio 2001-2003 (ANPEd, 2004). A ficha apresenta 32 itens distribuídos em cinco grandes categorias, listados nos Quadros 4a a 4e com suas respectivas pontuações, perfazendo o total máximo de 100 pontos. Instrumentos similares são empregados para a construção de hierarquias Qualis em outras áreas, como Administração, Contabilidade e Turismo⁸ e Psicologia (cujo processo de avaliação, incluindo a ficha, encontra-se apresentado e discutido em Yamamoto et al., 1999, 2002).

4. Conclusões

4.1. Acerca do desdobramento da qualidade dos periódicos

Neste artigo, apresentamos o desdobramento da qualidade de um periódico científico em quatro dimensões, duas a mais do que as tradicionalmente consideradas. Estas últimas aparecem descritas na literatura com várias denominações (por exemplo, intrínsecas e extrínsecas, em Valerio, 1994; desempenho e mérito, em Krzyzanowski & Ferreira, 1997, 1998). As novas são a do processo produtivo e a de mercado. No entanto, constatamos também, examinando um instrumento usado na prática, que essas novas dimensões de algum modo vinham sendo consideradas nas avaliações (como a indexação, que revela preocupação da revista com o seu mercado, as datas de recebimento e de aceitação e a manutenção da proposta de periodicidade, que podem ser ligadas à eficácia do processo produtivo).

Em contrapartida, nomear, definir com clareza e deixar explícitas as diferenças entre as quatro dimensões em que a qualidade foi desdobrada possibilita vários aperfeiçoamentos na interpretação dos itens geralmente avaliados e nos respectivos enunciados, conforme pudemos exemplificar nos comentários ao instrumento analisado nos Quadros 4a a 4e. Possibilita, também, a formulação de novos itens, novos instrumentos e, até, a introdução de novos procedimentos de avaliação. Por exemplo, uma certa ênfase nos aspectos técnico-normativos apenas se justifica quando o sistema de periódicos que escoam a produção de uma determinada área está em formação e consolidação. Com o tempo, esses aspectos são atendidos por todos e passam a não mais servir para a construção de uma avaliação hierárquica (pois não discriminam). Seu peso relativo é então redistribuído entre as demais dimensões. A julgar pelos critérios Qualis das ciências "duras", o final dessa história é basear a classificação na qualidade de mercado, considerando predominantemente o impacto. No entanto, parece-nos muito discutível que esse impacto seja medido em termos de um cálculo baseado em contagem de citações. As subáreas das ciências humanas, do mesmo modo que vêm amadurecendo os seus sistemas de periódicos, saberão, a seu tempo, estabelecer conceitos e instrumentos que permitam aferir o impacto de uma maneira satisfatória, fidedigna e aceita por todos. As enquetes de Jeannin (2002) podem constituir-se em um bom início para essa caminhada.

4.2. Sobre o instrumento de avaliação Qualis-ANPEd

Concluída a discussão da ficha Qualis-ANPEd, realizamos a distribuição dos 100 pontos nela previstos entre as quatro dimensões da qualidade, com base no resultado da análise de cada item. Havendo mais de uma dimensão aplicável, foi realizada uma divisão razoável, mas naturalmente sem um rigor científico. Num nível de aproximação de 5%, pode-se considerar que a ficha examinada dedica aproximadamente 15% para aspectos técnico-normativos, aproximadamente 5% para o processo produtivo, aproximadamente 40% para a finalidade de produto (porém apenas a avalia indiretamente) e outros 40% para a dimensão mercado (metade disso contemplando aspectos de seu desenvolvimento, mais do que aos de avaliação direta).

Evidentemente, definir o perfil percentual de consideração das dimensões é prerrogativa de cada área do conhecimento. Por exemplo, as áreas que baseiam seus Qualis apenas no fator de impacto optam por 100% na dimensão mercado, e mais, medido por um índice restrito aos periódicos acompanhados pelo ISI. Estando a área de acordo e tendo atendido as suas expectativas e necessidades, o procedimento é, sem dúvida, adequado e justo. O perfil resulta, portanto, diferente para cada área, e é razoável que mude com o decorrer do tempo. Que sugestões poderiam ser apresentadas, então, nesse momento, para a avaliação Qualis-ANPEd?

A primeira consideração, bastante viável para a dimensão técnico-normativa, mas que pode ser aplicada também às demais, é passar do critério de pontuação para o de requisitos mínimos. Por exemplo, o periódico que não tivesse ISSN e não praticasse a revisão pelos pares nem entraria na classificação. Quem não veiculasse os artigos profissionalmente na internet, ou quem não tivesse sumário, palavras-chave e resumos em inglês não poderia ser A, e assim por diante. Queremos reiterar que esses itens são apenas exemplos ilustrativos; sugestões específicas apenas a própria área pode apresentar.

Adicionando os cerca de 40% da avaliação indireta da finalidade de produto aos 20% correspondentes ao esforço de desenvolvimento de mercado (metade dos 40% de mercado), temos 60% do total proveniente de indicadores indiretos, percentual que se poderia pensar em reduzir. Por exemplo, a introdução da enquete, uma avaliação direta de mercado, eventualmente substituiria alguns itens relacionados ao seu desenvolvimento, bem como uma parte da consideração indireta da finalidade de produto.

É salutar para os periódicos de qualquer área uma atenção ao processo produtivo. As avaliações têm condições de influir positivamente neste aspecto, solicitando e examinando regulamentos, correspondências padrão, fichas e quesitos para elaboração de pareceres e similares. Pode-se premiar também a adoção de um sistema eletrônico de gerenciamento editorial que contemple e discipline parte destes requisitos.

Por fim, como já afirmado em outros momentos, nada supera a exposição profissional na internet, que pode substituir boa parte dos itens dedicados à circulação e à indexação.

4.3. Periódicos eletrônicos

Sem dúvida, não pode ser esquecido o "transitório" representado pelo crescimento das revistas exclusivamente eletrônicas no universo das publicações científicas. No entanto, divisando com nitidez as dimensões da qualidade que esses veículos (novos apenas em parte) precisam satisfazer, torna-se mais simples definir como podem ou devem ser avaliados. Por exemplo, às características técnico-normativas usuais das revistas impressas adicionar-se-ão aquelas pertinentes à difusão na web. A preservação do conteúdo (perenidade) é certamente um aspecto que ganha relevância (seu atendimento, no papel, era tido como óbvio). Igualmente, um item indispensável é a inclusão de metadados, informações essenciais sobre a informação, disponibilizados mediante protocolos adequados e inserindo o texto a que se referem no ambiente da web semântica, com uma dramática ampliação de sua visibilidade e, portanto, de seu impacto. Para uma idéia geral desse contexto, consultar Trzesniak (2004) e as referências por ele citadas.

Aspectos mais específicos sobre a avaliação de periódicos eletrônicos, ao longo das linhas preconizadas neste trabalho, podem ser encontrados em Trzesniak (2006). As dimensões finalidades de produto e qualidade de mercado não parecem ser significativamente afetadas pela nova mídia. A essência, o conceito da dimensão qualidade do processo produtivo permanece, embora os procedimentos em si devam mudar bastante. O gerenciamento eletrônico desloca a preocupação com a execução das rotinas (que o computador executa mais depressa e com muito menos erros do que qualquer ser humano) para o aperfeiçoamento delas, para o trabalho criativo, visando a levar uma ciência cada vez melhor a um número cada vez maior de pesquisadores em todo o mundo. Como exemplo, tornamos a citar metadados: incluí-los é obrigação técnico-normativa, ao mesmo tempo que desenvolve o mercado; zelar pela sua qualidade e fidedignidade é qualidade do processo produtivo.

Recebido em março de 2006

Aprovado em abril de 2006

PIOTR TRZESNIAK, doutor em física pela Instituto de Física da Universidade de São Paulo, é professor titular da Universidade Federal de Itajubá (UFI), na qual leciona na graduação e na pós-graduação. Nos últimos dez anos, vem-se dedicando à comunicação em ciência e tecnologia, tendo-se tornado consultor nessa área para o Ministério da Ciência e Tecnologia de Moçambique. Após ter integrado por muitos anos o Grupo de Assessoramento Editorial do CNPq, passou a trabalhar como consultor para avaliação de periódicos em comitês de várias áreas da CAPES. Essa trajetória permite que, atualmente, integre corpos editoriais científicos de periódicos de diversas áreas, como fonoaudiologia, enfermagem, psicologia e ensino. Em 2006 está publicando dois capítulos em um livro acerca de redação de artigos em psicologia, bem como já teve um trabalho completo veiculado em um evento especializado da área de ciência da informação, citados nas referências bibliográficas. E-mail: [e-mail]

• ANPEd - Associação Nacional de Pós-Graduação e Pesquisa em Educação. Qualis/periódicos e revistas (online, relatório técnico da Comissão de Avaliação de Periódicos da ANPEd - etapa 2003), ANPEd, 2004. Disponível em: <http://www.anped.org.br/avalpered.htm>. Acesso em: 12 jan. 2006.
• APA - American Psychological Association. Publication Manual of the American Psychological Association 5. ed. Washington/DC: American Psychological Association, 2001.
• CASTRO, Regina C. F.; FERREIRA, Maria Cecília G.; VIDILI, Ana L. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, v. 25, n. 3, p. 357-367, 1996. Disponível em: <http://www.ibict.br/cienciadainformacao/include/getdoc.php? id=842&article=500&mode=pdf>.
• ICMJE - International Committee of Medical Journal Editors. Uniform requirements for manuscripts submitted to biomedical journals (online; norma técnica; versão de outubro de 2005). ICMJE, 2005. Disponível em: <http://www.icmje.org/icmje.pdf>. Acesso em: 4 fev. 2006.
• JEANNIN, Philippe. Pour une "revuemétrie" de la recherche en sciences sociales; un point de vue français (Communication au Conceil Scientifique du CNRS). Paris: CNRS, 2002. Disponível em: <http://www.cnrs.fr/comitenational/cs/exposes/Jeanin.pdf>. Acesso em: 3 nov. 2004.
• KRZYZANOWSKI, Rosaly F.; FERREIRA, Maria Cecília. G. Avaliação de periódicos científicos e técnicos correntes brasileiros (Relatório técnico preparado para CNPq e FINEP). Brasília/DF: Conselho Nacional de Desenvolvimento Científico e Tecnológico, 1997.
• _____. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, v. 27, n. 2, p. 165-175, 1998. Disponível em: <http://www.ibict.br/cienciadainformacao/include /getdoc.php? id=714&article=395&mode=pdf>.
• KRZYZANOWSKI, Rosaly F.; KRIEGER, Eduardo M.; DUARTE, Francisco A. M. Programa de apoio às revistas científicas para a FAPESP. Ciência da Informação, v. 20, n. 2, p.137-150, 1991.
• OLIVEIRA, Eloísa C. P. O apoio governamental às publicações periódicas científicas: o programa de apoio a revistas do CNPq e da FINEP. Dissertação (Mestrado em Comunicação) - Escola de Comunicação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 1989.
• SciELO - Scientific Electronic Library Online. Critérios SciELO: critérios, política e procedimentos para a admissão e a permanência de periódicos científicos na coleção SciELO (online; nota técnica; versão de outubro de 2004; não paginado). SciELO, 2004. Disponível em: <http://www.scielo.org/scielo_org_pt.htm>. Acesso em: 1 fev. 2006.
• STUMPF, Ida Regina C. Avaliação das revistas de comunicação pela comunidade acadêmica da área. Em Questão, v. 9, n. 1, p. 25-38, 2003. Disponível em: <http://www6.ufrgs.br/emquestao/pdf_2003_v9_n1/EmQuestaoV9_N1_2003.pdf>.
• TRZESNIAK, Piotr. Da web romântica para a web semântica: novos conceitos e pontos para reflexão (online; transparências apresentadas no I Encontro dos Editores das Revistas Científicas da de Psicologia, São Paulo/SP, agosto de 2004). Disponível em: <http://www.bvs-psi.org.br/OpenAcc.pdf>. Acesso em: 7 fev. 2006.
• _____. A avaliação de revistas eletrônicas para órgãos de fomento: respondendo ao desafio. In: COSTA, Sely Maria da S.; VIDOTTI, Silvana A. B. G.; SIMEÃO, Elmira L. M. S.; MOREIRA, Ana Cristina S. (Ed.): Publicações eletrônicas no contexto da comunicação científica (I Conferência Iberoamericana, p. 141-146; Anais...). Campo Grande/MS: Universidade para o Desenvolvimento do Estado e Região do Pantanal (UNIDERP), 2006. Disponível em: <http://portal.cid.unb.br/CIPECCbr/viewabstract.php?id=26>.
• VALERIO, Palmira M. Espelho da ciência. Brasília/DF: FINEP/IBICT, 1994.
• YAMAMOTO, Oswaldo H.; KOLLER, Silvia H.; GUEDES, Maria do Carmo; LOBIANCO, Anna C.; SÁ, Celso P.; HUTZ, Cláudio S.; BUENO, José L. O.; MACEDO, Lino; MENANDRO, Paulo R. M. Avaliação dos periódicos científicos brasileiros da área de psicologia. Infocapes, v. 7, n. 3, p. 5-11, 1999. Disponível em: <http://www.capes.gov.br/capes/portal/conteudo/Info3_99.pdf>.
• YAMAMOTO, Oswaldo H.; MENANDRO, Paulo R. M.; KOLLER, Silvia H.; LOBIANCO, Anna C.; HUTZ, Cláudio S.; BUENO, José L. O.; GUEDES, Maria do Carmo. Avaliação dos periódicos científicos brasileiros da área de psicologia. Ciência da Informação, v. 31, n. 2, p. 163-177, 2002. Disponível em: <http://www.ibict.br/cienciadainformacao/include/getdoc.php?id=495&article= 206&mode=pdf>.

*

Extraído a partir de 93 títulos de normas retornados pesquisando-se as palavras

informacao e

documentacao (

sic) em

http://www.abntdigital.com.br/pesquisa.asp. Consulta efetuada em 10 de janeiro de 2006.

1

Neologismo ouvido de Nelson Studart, editor da

Revista Brasileira de Ensino de Física, em 2003.

2

FINEP e CNPq unificaram seus programas em 1982 e permaneceram juntos até 1999, quando a primeira abandonou essa modalidade de auxílio. O CNPq passou, então, a bancar o programa sozinho, e o mantém até o momento (2006).

3

Ao se fazer esta menção, não se pretende afirmar ser a educação a única área a empregar procedimentos dessa ordem.

4

Tal inclusão não ocorreu porque o GAE, criado em 1990, foi extinto pelo CNPq em 2005.

5

http://www.ibict.br

6

Metadado é uma informação sobre a informação principal, visando a descrevê-la qualificadamente. Existem vários padrões de metadados; atualmente apresenta maior aceitação o conjunto de 15 elementos básicos preconizado pelo

Dublin Core Metadata Iniciative (

http://www.dublincore.org).

7

http://www.scielo.br/stat_biblio/index.php?lang=pt

8

O instrumento da área de Administração, Contabilidade e Turismo foi elaborado por uma equipe da qual participou o autor deste artigo.

Datas de Publicação

• Publicação nesta coleção
  04 Set 2006
• Data do Fascículo
  Ago 2006

Histórico

• Aceito
  Abr 2006
• Recebido
  Mar 2006