Acessibilidade / Reportar erro

Sugestão de roteiro para avaliação de um artigo científico

Suggested scripture for evaluation of a scientific article

Sugerencia de rutas para la evaluación de un artículo científico

Resumo

O processo de avaliação de um artigo científico é uma etapa muito importante durante o processo de publicação de trabalhos da comunidade acadêmica. Atualmente, têm-se observado práticas pouco amistosas no processo de avaliação com pareceres pouco coerentes e desrespeitosos enviados aos autores de manuscritos submetidos à avaliação. O presente trabalho sugere um roteiro de avaliação de artigos científicos como forma de aprimorar o processo de avaliação dos manuscritos. Uma vez que o avaliador já identificou o escopo do artigo e se considera apto a avaliá-lo, a avaliação pode se dar em dez etapas.

PALAVRAS-CHAVE
Estudos de avaliação como assunto; Revisão por pares; Artigo de revista

Abstract

The process of evaluating a scientific paper is a very important step during the publication process of the work of the academic community. Currently, there are, unfriendly practices have been observed in the evaluation process with inconsistent and disrespectful opinions sent to authors of manuscripts submitted to the assessment. The present work suggests a script of evaluation of scientific articles as a way to optimize the assessment process of the manuscripts. Once the evaluator has identified the scope of the article and considers it apt to evaluate this article, the evaluation can take place in ten steps.

KEYWORDS
Evaluation studies as topic; Peer review; Journal article

Resumen

El proceso de evaluación de un artículo científico es una etapa muy importante durante el proceso de publicación de trabajos de la comunidad académica. Actualmente, se han observado prácticas poco respetuosas en el proceso de evaluación, con opiniones poco coherentes e irrespetuosas enviadas a los autores de manuscritos en evaluación. El presente trabajo sugiere un guion de evaluación de artículos científicos como forma de optimizar el proceso de evaluación de los manuscritos. Una vez que el evaluador haya identificado el alcance del artículo y se considere apto para evaluarlo, puede procederse a la evaluación en diez etapas.

PALABRAS CLAVE
Estudios de evaluación como asunto; Revisión por expertos; Artículo de revista

Introdução

A avaliação de um artigo científico é uma etapa muito importante durante o processo de publicação de artigos. Como em qualquer avaliação, existe um teor subjetivo, mas se o instrumento for objetivo, pode minimizar falhas ou injustiças. Ou seja, às vezes, uma simples reformulação em um ou mais tópicos seria mais adequada que uma rejeição imediata do referido manuscrito. Trata-se, portanto, de um processo pedagógico, no qual o avaliador pode orientar a escrita mais adequada daquele relatório de pesquisa e, não simplesmente, fornecer um simples "sim" ou "não" para a decisão de publicar o manuscrito no periódico.

A avaliação de trabalhos acadêmicos por pares pode ter sua motivação amparada pela necessidade de assegurar o desenvolvimento e o aperfeiçoamento constantes (Freitas, 1998Freitas MH, de A. Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional. 1998;2:211-28.) da apresentação dos relatórios de pesquisa. No caso dos artigos científicos, trata-se de "um meio formal de registro da autoria e das descobertas científicas" (p. 24) cujo processo de avaliação envolve diferentes pessoas e etapas (Werlang, 2013Werlang E. Revisão por pares: um estudo da gestão de avaliadores nas revistas científicas brasileiras. Universidade Federal de Santa Catarina. 2013.). O presente documento visa a discutir o papel do avaliador nesse processo e oferecer uma sugestão de processo de avaliação.

Ao prestar avaliações para as revistas científicas, geralmente, o avaliador não recebe pró-labore ou outra forma de pagamento, sendo que os autores que submetem seu manuscrito podem, inclusive, pagar para ter seu artigo publicado. Ainda assim, existe uma demanda muito grande de manuscritos submetidos para publicação em oposição à quantidade de revistas qualificadas disponíveis para tanto. As exigências da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) junto aos programas de pós-graduação estimulam esse quadro, no qual se deve publicar para não perecer. Ao mesmo tempo, ao classificar as revistas e estabelecer estratos mais desejáveis, aumentam a competição para publicar em um seleto grupo de revistas científicas (Harzing, 2007Harzing A-W. Publish or perish 2007.; Lovisolo, 2007Lovisolo HR. Levantando o sarrafo ou dando tiro no pé': critérios de avaliação e qualis das pós-graduações em educação física. Revista Brasileira de Ciências do Esporte. 2007;29:23-33.). Há que se chamar a atenção para o aumento do número de revistas predatórias, cujo processo de avaliação de artigos é questionável, mas, que podem justificar sua existência e aumento pelo modo de avaliação, baseado, principalmente, em quantidade de trabalhos publicados, à qual professores e programas de pós-graduação são submetidos (Beall, 2016Beall J. Predatory journals: Ban predators from the scientific record. Nature 2016;534., http://dx.doi.org/10.1038/534326a, 326-326.
http://dx.doi.org/10.1038/534326a...
).

Avaliar um trabalho científico faz parte de um processo pedagógico e o avaliador deve ter o máximo de respeito pelos autores do trabalho. Provavelmente, o manuscrito é fruto de um trabalho árduo de um grupo de pessoas e existe uma expectativa grande dos autores para que seu trabalho seja aprovado. Uma adequada avaliação, mesmo que não lhes dê aprovação, pode ser uma forma de estimular os autores a não desistirem de publicar.

Se você foi escolhido para ser avaliador, significa que recebeu um voto de confiança que lhe foi dado pelo editor da revista. Não é justo delegar essa função, sem comunicar ao editor. Empiricamente, já se percebe uma gama de avaliadores que delega suas funções para estudantes de mestrado e doutorado sem, no entanto, dar os devidos créditos a quem, de fato, avaliou os manuscritos. Além disso, esbarra-se em um conflito ético, no qual não se deve divulgar, antes da revista, dados de estudo que se avalia. Esses aspectos podem justificar, em parte, pareceres pouco respeitosos, isto é, talvez a pouca maturidade acadêmica de quem avalia explique a pouca gentileza na resposta aos trabalhos submetidos à avaliação por seus pares.

Um avaliador deve analisar:

  • a) O manuscrito em sua estrutura e conteúdo (Greene, 1998Greene LJ. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação. 1998:27.);

  • b) A contextualização da situação-problema bem como a coerência entre os objetivos, a justificativa e a relevância social, além das hipóteses, se for o caso.

  • c) A metodologia do trabalho, verificando se está coerente e adequada com o que foi pretendido no estudo (Greene, 1998Greene LJ. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação. 1998:27.), além de verificar se está com o devido detalhamento para ser reproduzida;

  • d) Se os resultados estão, adequadamente, descritos e de acordo com o que foi coletado e informado na metodologia. Além disso, se o uso de gráficos e tabelas facilita e se há redundância de informações sobre os achados do estudo;

  • e)

    Se a discussão está coerente e atual, dialoga com os objetivos propostos e os resultados obtidos;

Além disso, recomenda-se:

  • f) Fazer comentários construtivos e questões com o intuito de esclarecer o que não foi, em sua opinião, bem explicado pelos autores;

  • g) Fazer inserções e exclusões para tentar melhorar a fluidez do texto, sem, no entanto, modificar a forma ou tentar parecer um coautor do trabalho. Essas alterações são requeridas caso haja a necessidade, podendo o avaliador sugerir uma revisão linguística no texto;

  • h) Indicar textos que possam melhorar o artigo;

  • i) Finalmente, com base em argumentos sólidos e bem apresentados, recomendar o parecer: aprovado, rejeitado, exigência de modificações etc.

Algumas más práticas correntes são:

  1. Grosserias de avaliadores, secretários e editores das revistas científicas, apresentando, muitas vezes, juízo de valor e opiniões pessoais, tais como o avaliador dizer que boa parte do texto poderia ser jogada fora por não acrescentar nada ou que a discussão "está maluca"; secretário dizer que é preciso aguardar, com paciência, a resposta dos avaliadores e que eles já sabem que precisam avaliar (essa paciência é pedida mesmo quando já se espera por oito meses algum retorno da revista e o contato foi, apenas, para perguntar se há previsão da avaliação do artigo submetido); ou quando o editor diz que um determinado tipo de artigo não é aceito pela revista por ser "fraco metodologicamente", mas, que, nas normas, da revista, o tal tipo de artigo é aceito.

  2. Avaliações incoerentes;

  3. Demora no retorno da avaliação;

  4. "Terceirização" da avaliação: professores que entregam o manuscrito para outras pessoas avaliarem, mas não comunicam à revista tampouco revisam o que foi feito pelos seus delegados.

Este trabalho sugere um roteiro de avaliação de artigos científicos como forma de aprimorar o processo de avaliação e - por que, não? - de preparo dos manuscritos. Uma vez que o avaliador já identificou o escopo do manuscrito e se considera apto a avaliá-lo, as etapas para o processo de avaliação são sugeridas na Quadro 1.

Quadro 1
Etapas para a avaliação de um artigo científico

Rastreamento de plágio

Pode parecer estranho que alguém submeta um manuscrito, que corresponde a um relatório de parte ou a da integralidade de sua pesquisa científica, com cópias parciais ou totais de outros trabalhos acadêmicos. Pode ser estranho, por ser incoerente, mas não é incomum. Nos últimos tempos, temos acompanhado uma série de publicações que tentam explicar as causas desse fenômeno de banalização da ciência (Marques, 2011Marques F. Write well or perish: courses and services help researchers to write a good scientific paper. Brazilian Journal of Cardiovascular Surgery. 2011;26:304-8.; Silva, 2008Silva OSF. Entre o plágio e a autoria: qual o papel da universidade. Revista Brasileira de Educação. 2008;13:357-68.; Valentim, 2014Valentim MLP. Ética em pesquisa: a questão do plágio. Direito autoral, propriedade intelectual e plágio. Salvador: Ed. UFBA, 2014. 191-211.), que tem a participação até de pesquisadores de renome (Veja, 2014Veja. Pela primeira vez, Fapesp torna públicas fraudes em pesquisas científicas. Veja.com 2014.), mas o fato é que as revistas têm, também, recebido artigos que são resultados de fraudes acadêmicas.

Sabendo que isso pode acontecer, o avaliador pode otimizar o seu tempo de avaliação ao rastrear plágios. Quer dizer, se o artigo tiver plágios, o avaliador pode optar por não continuar a avaliação técnica do artigo porque, provavelmente, já terá sido avaliado por outra revista (aquela em que o artigo fora, originalmente, publicado). Existem vários aplicativos gratuitos e/ou pagos para auxiliar na detecção de plágios disponíveis na Internet, que têm plug-in para o editor de texto Microsoft Word, como o Grammarly (Japos, 2013Japos GV. Effectiveness of coaching interventions using grammarly software and plagiarism detection software in reducing grammatical errors and plagiarism of undergraduate researches. Institutional Research Journal. 2013;1:1.) e o Farejador (Pertile, 2011Pertile S de L. Desenvolvimento e Aplicação de um Método para Detecção de Indícios de Plágio 2011.). Tais softwares conseguem detectar trechos idênticos ao que já foi publicado e está disponível na internet.

Antes de se tornar uma "caça às bruxas", porém, é importante destacar que, ao detectar o plágio pelo software, há que se ter o cuidado de ter sido, apenas, um erro de citação, ou seja, o autor fez uma citação direta de um texto, sem colocar no formato que uma citação direta exige (aspas, número de páginas etc.). E sob esse aspecto, também, cabe o papel pedagógico do avaliador em mostrar os equívocos e indicar material de estudo para as devidas correções.

Ao detectar o plágio, o avaliador deve comunicar aos editores da revista, mas, também, pode escrever para os autores, algo como "REFORMULAR O TEXTO. A ideia é o autor desenvolver seu próprio texto, com base em leituras prévias. Você deve ser capaz de ler e interpretar tais textos e, caso venha a usá-los, que seja correto em citá-los. Perceba que os trabalhos publicados já foram avaliados por equipe técnica qualificada, por isso, estão públicos. Favor respeitar os direitos autorais". Além disso, o avaliador pode indicar material para estudo. Um tutorial sobre plágios e citações bastante didático pode ser visto em: https://www.youtube.com/watch?v=NryG4H_-Eo4 (TCC Monografias e Artigos, 2013TCC Monografias e Artigos. Plágio de trabalhos acadêmicos - parte 1/7. Brasil: 2013.).

É importante salientar que avaliar ou, não, a presença de plágio ou equívocos nas citações por parte dos autores dos manuscritos não é uma tarefa exclusiva dos avaliadores, é uma responsabilidade compartilhada com toda a equipe editorial da revista científica. A recente banalização dessa prática (considerando os mais diversos tipos de plágio) reforça a necessidade de um maior cuidado por parte dos avaliadores e da equipe editorial das revistas.

Revisão de citações

Ainda sob o âmbito mais burocrático da avaliação de artigos, confira se cada citação no texto está, devidamente, na lista de referências e se cada referência listada está citada no texto. Confira, também, a grafia correta dos sobrenomes dos autores e se o ano informado da publicação confere na citação. Para isso, basta usar o recurso de "Localizar", do editor de textos Microsoft Word. Outro recurso muito útil nessa e nas demais etapas é o de "Revisão", no qual, também, se encontra o recurso de "Novo comentário" para você inserir as suas sugestões e questões com vistas à maior compreensão do trabalho.

O avaliador pode sugerir autores importantes no tema, para enriquecer o trabalho, mas não tem o compromisso de revisar as referências uma a uma porque cabe aos revisores da revista essa conferência. Mas, considera-se que é uma gentileza e que não há ônus ao avaliador ao efetuar essa tarefa.

Algumas orientações podem ser dadas nos comentários inseridos no texto avaliado, como, por exemplo:

  • Favor inserir essa referência completa na lista de Referências (lembra-se que a revisão final das referências cabe à equipe editorial da revista).

  • Corrigir a citação. "Apud" significa "citado por"; logo, a referência mais nova aparece antes da referência mais antiga. Apenas aquela que você leu deve constar na lista de referências.

  • Nesta citação, favor conferir e corrigir (se for o caso) o ano que foi informado na lista de referências.

  • Nesta citação, favor conferir e corrigir (se for o caso) a autoria que foi informada na lista de referências.

  • Em uma citação, apenas listar o último sobrenome dos autores e ano da publicação.

  • Em geral, Neto não é sobrenome. Reveja o sobrenome do autor. Esse tipo de sobrenome é como "Filho", "Junior". Na citação, ficaria algo como "Silva Filho", "Silva Neto". Favor conferir e corrigir.

  • "et al." significa que existem coautores no trabalho citado. Atenção à concordância de número na frase. Logo, o correto seria "Os autores afirmam".

Leitura superficial do artigo

Existem algumas técnicas de leitura que devem ser empregadas na avaliação dos artigos. Leituras superficiais como de escaneamento ou rastreamento da ideia central do texto, sem detalhes, permitem perceber a ideia geral do trabalho (Marconi & Lakatos, 2003Marconi M de A, Lakatos EM. Fundamentos de metodologia científica. 2o. 2003; 2003. 10.1590/S1517-97022003000100005.
https://doi.org/10.1590/S1517-9702200300...
), antes de se ater aos detalhes técnicos do manuscrito. Além disso, permite ao avaliador verificar o emprego correto da Língua Portuguesa e se os autores tiveram brio em apresentar seu relatório para publicação.

O avaliador deve, sempre que necessário, pedir a revisão e a correção da ortografia, da pontuação e da gramática de todo o texto. Erros gramaticais e de digitação podem ser, facilmente, resolvidos com o recurso de revisão de ortografia e gramática do Microsoft Word. Aliás, qualquer autor deve sempre ter cuidado à sua escrita. É cansativo ler um texto em que a atenção do leitor é comprometida por erros de Português ou frases confusas. Os autores devem estar atentos a valorizarem o conteúdo do seu trabalho, não, os erros de Língua Portuguesa.

Avaliadores devem orientar os autores a elaborarem frases mais curtas e, não, períodos longos, para dar mais fluidez ao texto. Em alguns casos, no entanto, haverá necessidade de uma revisão mais aprofundada do texto. Isso faz com que o artigo seja rejeitado, não, porque a ideia da pesquisa foi ruim, mas porque não foi bem apresentada.

Em algumas áreas, parece ser mais comum o uso de neologismos. Apesar de ser uma ferramenta aceitável na Língua Portuguesa, é interessante que haja uma padronização de termos, porque a ideia da publicação de artigos é, também, facilitar a comunicação com outros pesquisadores que atuam na área. Assim, o avaliador deve sempre sugerir que os termos estejam cadastrados na lista de vocábulos da Academia Brasileira de Letras ou que sejam termos legitimados pelo uso frequente. Se for o caso, deve solicitar aos autores que optem por substituir a palavra sem mudar o sentido do que se quer dizer e/ou conceituar o termo no texto.

Detecção e análise de problema, objetivos, hipóteses

O problema é a dúvida central da pesquisa. A questão central está para o objetivo geral assim como as questões secundárias de pesquisa estão para os objetivos específicos. Os objetivos são as ações necessárias para responder a essas questões. Existem várias formas de se apresentar o problema de pesquisa ou a situação-problema, no entanto, é preciso estar claro o contexto de investigação e o objeto de estudo na Introdução do artigo. Quando esses aspectos não são apresentados de maneira adequada pelos autores, o avaliador pode indicar as obras de Marconi e Lakatos, 2003Marconi M de A, Lakatos EM. Fundamentos de metodologia científica. 2o. 2003; 2003. 10.1590/S1517-97022003000100005.
https://doi.org/10.1590/S1517-9702200300...
e Thomas et al. (2012)Thomas JR, Nelson JK, Silverman SJ. Métodos de pesquisa em atividade física. 6ª ed. Porto Alegre: Artmed; 2012., por exemplo, como sugestões de estudo.

Já a hipótese, corresponde a uma resposta esperada para o problema da pesquisa. Pode ser mais de uma hipótese, depende da quantidade de questões a serem respondidas no trabalho. As hipóteses devem ser frases diretas, sucintas e claras escritas na afirmativa e no tempo presente. Há que se destacar, contudo, que muitos estudos de natureza, predominantemente, qualitativa preferem não fazer uso de hipóteses com receio de enviesar sua pesquisa. Mas, epistemologicamente, acredita-se que a hipótese seja um recurso norteador oportuno. Nesse sentido, cabe ao avaliador, conferir a adequação e a coerência das hipóteses apresentadas no manuscrito.

Análise da justificativa e relevância

Ao escrever a justificativa da pesquisa, o autor mostrará a importância do estudo, dirá para quê serviu sua pesquisa. Talvez seja a parte mais difícil de escrever no trabalho, pois, é a hora de saber "vender seu peixe". A relevância, também, não deixa de ser uma justificativa do estudo, mas, especificamente, refere-se à relevância social do assunto para o atual momento histórico e QUEM será beneficiado com os resultados da pesquisa (Appolinário, 2012Appolinário F. Metodologia da ciência: filosofia e prática da pesquisa. 3rd ed. São Paulo: Cengage Learning; 2012.; Marconi & Lakatos, 2003Marconi M de A, Lakatos EM. Fundamentos de metodologia científica. 2o. 2003; 2003. 10.1590/S1517-97022003000100005.
https://doi.org/10.1590/S1517-9702200300...
; Thomas et al., 2012Thomas JR, Nelson JK, Silverman SJ. Métodos de pesquisa em atividade física. 6ª ed. Porto Alegre: Artmed; 2012.). Esses dois itens devem ser abordados na introdução.

Embora os itens 4 e 5 sejam básicos para autores, não se pode esquecer do papel pedagógico do avaliador. Ao detectar ausência ou falhas na apresentação desses itens na introdução do trabalho avaliado, o avaliador pode indicar leituras básicas. Isso se faz necessário até quando se percebe que a publicação científica atual se faz, também, por estudantes de graduação (Santos, 2014Santos R. Alunos de graduação também publicam revisam e editam artigos científicos. Ciência e Cultura. 2014;66:12-3, http://dx.doi.org/10.21800/S0009-67252014000400006.
http://dx.doi.org/10.21800/S0009-6725201...
).

Análise da metodologia

Ao analisar a metodologia, o avaliador precisa compreender os procedimentos adotados na pesquisa científica. A escrita deve estar detalhada para permitir ao leitor compreender de que forma o autor executou a pesquisa. Considerando que o trabalho poderá ser lido por um público heterogêneo em termos de maturidade acadêmica, deve ser explicado por que os tais procedimentos foram importantes. Principalmente, na metodologia, se detecta se os procedimentos são adequados aos objetivos propostos, se as variáveis investigadas estão justificadas e/ou se há hipóteses (esses relatados na introdução).

Basicamente, se a pesquisa for bibliográfica (ou documental), o avaliador deverá detectar:

  1. Que tipos de trabalho foram usados (livros, artigos, teses...)?

  2. Onde estava disponível o material usado (Scielo, Google Acadêmico, Pubmed...)?

  3. Dificilmente, TODOS os trabalhos encontrados serão usados. Como foram, então, selecionados aqueles trabalhos que interessavam ao autor? Quais os critérios de inclusão dos trabalhos? Que palavras-chaves foram usadas para a busca? E em qual (is) idioma (s)? Quando foi feita a pesquisa?

  4. Que técnica (s) de leitura e análise de texto foi (foram) usada (s)?

  5. A pesquisa bibliográfica seguiu alguma norma de escrita como o PRISMA (Galvão et al., 2015Galvão TF, Pansani T, de SA, Harrad D. Principais itens para relatar revisões sistemáticas e metanálises: a recomendação Prisma. Epidemiologia e Serviços de Saúde. 2015;24:335-42.; Moher et al., 2009Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Annals of Internal Medicine. 2009;151:264-9, http://dx.doi.org/10.5123/S1679-49742015000200017.
    http://dx.doi.org/10.5123/S1679-49742015...
    )?

Já se a pesquisa for de campo (ou experimental), o avaliador deverá detectar:

  1. Qual o local de feitura da pesquisa?

  2. Quando foi feita a pesquisa?

  3. Que instrumentos foram usados (questionários, balança, adipômetro, paquímetro, câmeras etc.)? Os dados dos fabricantes estão informados? O modo como foram usados está informado? Os questionários foram validados?

  4. A amostra e a população estão, devidamente, descritas? Como foi processo de seleção? Existe grupo controle?

  5. Os procedimentos da investigação estão descritos, detalhadamente?

  6. Houve submissão do trabalho a um comitê de ética? Qual o número de aprovação?

  7. Os procedimentos seguiram recomendações padronizadas na literatura, como CONSORT (Martins et al., 2009Martins J, Sousa LM, Oliveira AS. Recomendações do enunciado Consort para o relato de estudos clínicos controlados e randomizados. Medicina (Ribeirao Preto Online). 2009;42:9-21.), STROBE (Malta et al., 2010Malta M, Cardoso LO, Bastos FI, Magnanini MMF, da Silva CMFP. Iniciativa Strobe: subsídios para a comunicação de estudos observacionais. Revista de Saúde Pública. 2010;44:559-65.) ou outra?

Existem guias de redação de trabalhos acadêmicos que, cada vez mais, são exigidos pelas revistas; a ideia é aumentar a transparência e a uniformização na apresentação dos relatórios de pesquisa na área da saúde (Equator Network, 2017Equator Network. Your one-stop-shop for writing and publishing high-impact health research 2017. Disponível em: http://www.equator-network.org/.
http://www.equator-network.org/...
). Para isso, os avaliadores, também, devem ter ciência desses documentos, que já têm algumas traduções para o Português.

Análise dos resultados

Os resultados da investigação podem ser apresentados em texto, gráficos e/ou tabelas, porém, necessariamente, devem estar, coerentemente, relacionados aos objetivos, responder às hipóteses. Outro item importante é detectar se tudo o que foi investigado, descrito na metodologia, apresenta resultados no texto.

No que tange às ilustrações, as tabelas resumem um conjunto de observações e devem ser autoexplicativas, sem repetir informações já contidas no texto. Já os gráficos, são formas de apresentação dos dados que têm a função de produzir uma visualização mais rápida dos dados investigados (Thomas et al., 2012Thomas JR, Nelson JK, Silverman SJ. Métodos de pesquisa em atividade física. 6ª ed. Porto Alegre: Artmed; 2012.).

Análise da discussão

Na discussão, os autores devem refletir sobre seus achados à luz da literatura científica atual da área. O avaliador deverá identificar se essa discussão está coerente com os objetivos e as hipóteses trabalhadas, mostradas na introdução do paper, se apresenta material, academicamente qualificado para o dado propósito e se é atual. Por outro lado, não significa que obras clássicas da área não possam ser usadas. Por isso, também, é importante o avaliador ser um expert da área do estudo que avalia para evitar críticas desnecessárias quanto a esse aspecto.

Análise do resumo e das palavras-chave

O resumo pode ser um dos primeiros itens a ser avaliado, mas deverá ser, constantemente, consultado para verificar a coerência entre o que está escrito no resumo e no corpo do texto. Pereira (2013)Pereira MG. O resumo de um artigo científico. Epidemiologia e Serviços de Saúde. 2013;22:707-8. e Sousa et al. (2006)Sousa VD, Driessnack M, Flória-Santos M. Como escrever o resumo de um artigo para publicação. Acta Paulista de Enfermagem. 2006:19. orientam autores a escreverem seus resumos de modo que tais obras podem ser indicadas pelos avaliadores, caso haja necessidade de reformulação desse item no artigo avaliado.

Sobre as palavras-chaves, o avaliador deve conferir se os termos estão cadastrados nos tesaurus e dicionários específicos para cada área. Assim, na área da saúde, temos o Descritores em Ciências da Saúde (DeCS), que, como dicionário trilíngue, os correspondentes para serem usados no abstract já constam (Bireme, 2016Bireme. DeCS - Descritores em Ciências da Saúde 2016. Disponível em: http://decs.bvs.br/. (acesso 8/8/2017).
http://decs.bvs.br/...
). Outra opção é o dicionário de sinônimos para indexação de artigos no PubMed (MeSH) (PubMed, 2017PubMed. MeSH (Medical Subject Headings) is the NLM controlled vocabulary thesaurus used for indexing articles for PubMed 2017. Disponível em: https://www.ncbi.nlm.nih.gov/mesh. (acesso 8/8/2017).
https://www.ncbi.nlm.nih.gov/mesh...
). Sugere-se, ainda, que não se repitam termos que já estejam no título para não haver redundância de informação e que se amplie a possibilidade de o trabalho ser recuperado nas bases de dados acadêmico-científicas.

Conferência das referências

Como dito, na lista de referências, devem estar incluídas, somente, aquelas que foram citadas no texto. Esses equívocos e a falta de padronização das referências podem inexistir se os autores fizerem uso de programas de gerenciamento de referências bibliográficas, como o Mendeley (2017)Mendeley. Reference Management Software & Researcher Network 2017. Disponível em: https://www.mendeley.com/. (acesso 8/8/2017).
https://www.mendeley.com/...
e o Endnote Web (MyEndNoteWeb, 2017MyEndNoteWeb. MyEndNoteWeb 2017. Disponível em: https://projectne.thomsonreuters.com/.(acesso 8/8/2017).
https://projectne.thomsonreuters.com/...
). Outro programa interessante é o Mecanismo Online para Referências (More), baseado na NBR 6023/2002, norma da ABNT atualmente em vigor (Universidade Federal de Santa Catarina, 2017Universidade Federal de Santa Catarina. MORE - Mecanismo Online para Referências 2017. Disponível em: http://www.more.ufsc.br/. (acesso 8/8/2017).
http://www.more.ufsc.br/...
). Essas são dicas que o avaliador pode dar aos autores caso perceba esse tipo de erro no trabalho.

O presente artigo sugere um roteiro para avaliação de artigos científicos, debate os principais aspectos a serem observados, bem como os cuidados éticos e metodológicos relacionados ao processo de revisão. É inequívoca a necessidade de ampliar a discussão sobre o papel e a tarefa do avaliador, no Brasil e no mundo. Apenas através de um amplo debate será possível aprimorar a evolução da qualidade científica da produção nacional, a qual perpassa, entre outros fatores, pela importância pedagógica do avaliador e do processo de avaliação.

Referências

  • Appolinário F. Metodologia da ciência: filosofia e prática da pesquisa. 3rd ed. São Paulo: Cengage Learning; 2012.
  • Beall J. Predatory journals: Ban predators from the scientific record. Nature 2016;534., http://dx.doi.org/10.1038/534326a, 326-326.
    » http://dx.doi.org/10.1038/534326a
  • Bireme. DeCS - Descritores em Ciências da Saúde 2016. Disponível em: http://decs.bvs.br/ (acesso 8/8/2017).
    » http://decs.bvs.br/
  • Equator Network. Your one-stop-shop for writing and publishing high-impact health research 2017. Disponível em: http://www.equator-network.org/
    » http://www.equator-network.org/
  • Freitas MH, de A. Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional. 1998;2:211-28.
  • Galvão TF, Pansani T, de SA, Harrad D. Principais itens para relatar revisões sistemáticas e metanálises: a recomendação Prisma. Epidemiologia e Serviços de Saúde. 2015;24:335-42.
  • Greene LJ. O dilema do editor de uma revista biomédica: aceitar ou não aceitar. Ciência da Informação. 1998:27.
  • Harzing A-W. Publish or perish 2007.
  • Japos GV. Effectiveness of coaching interventions using grammarly software and plagiarism detection software in reducing grammatical errors and plagiarism of undergraduate researches. Institutional Research Journal. 2013;1:1.
  • Lovisolo HR. Levantando o sarrafo ou dando tiro no pé': critérios de avaliação e qualis das pós-graduações em educação física. Revista Brasileira de Ciências do Esporte. 2007;29:23-33.
  • Malta M, Cardoso LO, Bastos FI, Magnanini MMF, da Silva CMFP. Iniciativa Strobe: subsídios para a comunicação de estudos observacionais. Revista de Saúde Pública. 2010;44:559-65.
  • Marconi M de A, Lakatos EM. Fundamentos de metodologia científica. 2o. 2003; 2003. 10.1590/S1517-97022003000100005.
    » https://doi.org/10.1590/S1517-97022003000100005
  • Marques F. Write well or perish: courses and services help researchers to write a good scientific paper. Brazilian Journal of Cardiovascular Surgery. 2011;26:304-8.
  • Martins J, Sousa LM, Oliveira AS. Recomendações do enunciado Consort para o relato de estudos clínicos controlados e randomizados. Medicina (Ribeirao Preto Online). 2009;42:9-21.
  • Mendeley. Reference Management Software & Researcher Network 2017. Disponível em: https://www.mendeley.com/ (acesso 8/8/2017).
    » https://www.mendeley.com/
  • Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Annals of Internal Medicine. 2009;151:264-9, http://dx.doi.org/10.5123/S1679-49742015000200017
    » http://dx.doi.org/10.5123/S1679-49742015000200017
  • MyEndNoteWeb. MyEndNoteWeb 2017. Disponível em: https://projectne.thomsonreuters.com/(acesso 8/8/2017).
    » https://projectne.thomsonreuters.com/
  • Pereira MG. O resumo de um artigo científico. Epidemiologia e Serviços de Saúde. 2013;22:707-8.
  • Pertile S de L. Desenvolvimento e Aplicação de um Método para Detecção de Indícios de Plágio 2011.
  • PubMed. MeSH (Medical Subject Headings) is the NLM controlled vocabulary thesaurus used for indexing articles for PubMed 2017. Disponível em: https://www.ncbi.nlm.nih.gov/mesh (acesso 8/8/2017).
    » https://www.ncbi.nlm.nih.gov/mesh
  • Santos R. Alunos de graduação também publicam revisam e editam artigos científicos. Ciência e Cultura. 2014;66:12-3, http://dx.doi.org/10.21800/S0009-67252014000400006
    » http://dx.doi.org/10.21800/S0009-67252014000400006
  • Silva OSF. Entre o plágio e a autoria: qual o papel da universidade. Revista Brasileira de Educação. 2008;13:357-68.
  • Sousa VD, Driessnack M, Flória-Santos M. Como escrever o resumo de um artigo para publicação. Acta Paulista de Enfermagem. 2006:19.
  • TCC Monografias e Artigos. Plágio de trabalhos acadêmicos - parte 1/7. Brasil: 2013.
  • Thomas JR, Nelson JK, Silverman SJ. Métodos de pesquisa em atividade física. 6ª ed. Porto Alegre: Artmed; 2012.
  • Universidade Federal de Santa Catarina. MORE - Mecanismo Online para Referências 2017. Disponível em: http://www.more.ufsc.br/ (acesso 8/8/2017).
    » http://www.more.ufsc.br/
  • Valentim MLP. Ética em pesquisa: a questão do plágio. Direito autoral, propriedade intelectual e plágio. Salvador: Ed. UFBA, 2014. 191-211.
  • Veja. Pela primeira vez, Fapesp torna públicas fraudes em pesquisas científicas. Veja.com 2014.
  • Werlang E. Revisão por pares: um estudo da gestão de avaliadores nas revistas científicas brasileiras. Universidade Federal de Santa Catarina. 2013.

Datas de Publicação

  • Publicação nesta coleção
    Apr-Jun 2018

Histórico

  • Recebido
    15 Ago 2017
  • Aceito
    12 Dez 2017
  • Publicado
    9 Fev 2018
Colégio Brasileiro de Ciências do Esporte Universidade de Brasilia - Campus Universitário Darcy Ribeiro, Faculdade de Educação Física, Asa Norte - CEP 70910-970 - Brasilia, DF - Brasil, Telefone: +55 (61) 3107-2542 - Brasília - DF - Brazil
E-mail: rbceonline@gmail.com