Pesquisar é preciso. Publicar não é preciso: história e controvérsias sobre a avaliação por pares

Researching is precise. Publishing is imprecise: history and controversies on the peer review

Resumo:

Neste ensaio teórico, compreende-se a avaliação por pares ou peer review, como uma avaliação de artigos científicos realizada por pesquisadores ou especialistas de áreas específicas. Esse processo está no coração de toda a ciência. Embora a ciência busque a exatidão ("Pesquisar é preciso"), ou seja, construir leis, a avaliação de artigos científicos é marcada por imprecisão ("Publicar não é preciso"). O ensaio resgata as origens históricas da avaliação por pares, nascida a partir do desejo de censura e de controle de qualidade. Em seguida, apresenta as controvérsias presentes no seu uso, chamando a atenção para as suas deficiências, para a curiosa falta de atenção que vem recebendo da academia e para as alternativas de seu aperfeiçoamento. O ensaio descreve o modo como a Academy of Management acolhe o seu avaliador iniciante (first review) e propõe alternativas para aprimorar a atuação dos revisores de artigos para revistas e congressos brasileiros na área de Administração.

Palavras-chave:
Avaliação por pares; História da ciência; Publicação científica

Abstract:

In this theoretical essay, we understand peer review as an assessment of scientific articles by researchers or experts in specific areas. Such process is at the heart of all science. Even though science seeks accuracy ("Research is precise"), that is, building laws, the assessment of scientific articles is marked by imprecision ("Publishing is imprecise"). The essay rescues the historical origins of peer review, born from the desire of censorship and quality control. It then presents the controversies present in its use, pointing out its deficiencies, to the curious lack of attention it has been getting in the academy as well as to the alternatives of improvement. The essay describes the way the Academy of Management welcomes its beginner assessor (first review) and proposes alternatives to enhance the performance of the article reviewers for magazines and Brazilian conferences in the area of ​​Administration.

Key words:
Peer review; History of science; Scientific publishing

1 Introdução

Um dos procedimentos quase universalmente aceitos pela comunidade científica na indicação da qualidade de trabalhos científicos é a avaliação por pares ou peer review, concebida mais comumente como uma avaliação de artigos científicos realizada por pesquisadores ou especialistas (FREITAS, 1998). A avaliação por pares, também conhecida por "revisão por pares", "revisão editorial por pares" ou "exame por pares", é utilizada não só na análise de artigos enviados para publicação em periódicos científicos, como também na avaliação de projetos de pesquisa, por agências de financiamento, na escolha de pesquisas que receberão verbas, na delimitação da quantidade de bolsas de estudos enviadas às instituições de ensino com diferentes graus de poder de decisão, e até em decisões quanto a promoções nas carreiras acadêmicas (FITZPATRICK, 2011; FREITAS, 1998). No caso particular da seleção de centros de excelência em pesquisa para o investimento de verbas públicas, a avaliação por pares é altamente recomendável, uma vez que procura chegar a uma decisão racional a partir de um processo equitativo, aberto e transparente (HÉBERT, 2007). No âmbito das organizações internacionais, a avaliação por pares pode ser considerada como o exame e a avaliação sistemática do desempenho de um Estado por outros Estados, com o objetivo último de ajudá-lo a aperfeiçoar suas políticas, adotar práticas mais favoráveis e a se conformar a normas e princípios estabelecidos (PAGANI, 2002).

O objeto deste ensaio é, mais precisamente, a avaliação por pares de artigos científicos para fins de publicação em periódicos especializados, processo este que está no coração de toda a ciência (FITZPATRICK, 2011) e considerado "um sistema cheio de problemas, mas o menos pior que temos." (SMITH, 2006, p. 178). Trata-se da avaliação crítica de manuscritos submetidos a periódicos, por especialistas que não fazem parte da equipe editorial, podendo ser vista como uma extensão importante do processo científico (FREITAS, 1998; HAMES, 2012), o que faz com que essa produção seja também considerada de autoridade no assunto (STUMPF, 2008; FITZPATRICK, 2011). Embora seu valor real tenha sido pouco estudado e seja amplamente debatido, a avaliação por pares ajuda os editores a decidirem quais artigos são adequados para seus periódicos, e ajuda autores a melhorar a qualidade dos seus trabalhos.

O artigo se qualifica como um ensaio teórico, aqui entendido como uma comunicação capaz de provocar o leitor e mobilizá-lo na sua subjetividade, para concordar ou discordar com a reflexão proposta (MENEGHETTI, 2011, p. 331). Submetemos, assim, nossa reflexão ao crivo do leitor, como "tentativa de ação especulativa e interpretativa" (BARROS, 2011, p. 335). O mote que dá origem ao seu título tem origem no provérbio imortalizado por Fernando Pessoa, "navegar é preciso, viver não é preciso". Valendo-se da riqueza e da complexidade da língua portuguesa, o poeta afirma que navegar é preciso (no sentido de necessário), mas viver é impreciso, no sentido de que não tem exatidão. Nossa paráfrase considera que pesquisar é necessário para fazer ciência e que o processo de publicação dos artigos científicos, ao contrário da ciência, tem falhas que fazem dele um processo impreciso, sem o rigor demandado pelo fazer científico. A reflexão aqui proposta denuncia a falta de atenção que a atividade de avaliação de artigos vem recebendo dos pesquisadores da área de Administração e anuncia algumas alternativas, no sentido de contribuir para torná-la mais precisa, previsível e menos surpreendente.

Iniciamos nosso arrazoado a partir das origens históricas da avaliação por pares. Conhecer a gênese dessa atividade contribui para reconhecer as questões relacionadas a prestígio, poder e censura que a envolvem. Em seguida apresentamos as controvérsias relativas ao processo de peer review, pondo realce na sua imprecisão. Em um tempo em que publicar tornou-se fundamental para evitar o perecimento acadêmico do pesquisador (publish or perish), é absolutamente surpreendente que o aprimoramento do processo de peer review e da formação de revisores não tenha ainda extrapolado aos fóruns de editores e se constituído em um tema relavante de pesquisa. Finalmente, propomos alternativas para o aprimoramento do processo de avaliação de artigos, recuperando inclusive recomendações esquecidas da revisão de literatura.

2 Origens históricas da avaliação por pares

A comunicação das atividades de pesquisas não começou com as revistas. No tempo da revolução científica, ela se fazia predominantemente por cartas entre os pesquisadores. A evolução das formas de intercâmbio que alimentam a atividade científica esteve intimamente ligada às condições materiais de circulação de cartas e impressos. No século XVII, as correspondências entre cientistas desenvolveram-se graças aos serviços postais. Paralelamente, os primeiros periódicos, tais como o Journal des Sçavans, na França, e sobretudo o Philosophical Transactions, da Royal Society, na Inglaterra, foram criados em janeiro e março de 1665, respectivamente. Eles forneceram ao mesmo tempo uma tribuna aos debates e afiançaram uma sociedade de cientistas que examinavam os projetos de publicação. Além disso, eles incorporaram artigos publicados em outros lugares, superando as barreiras do idioma. Contrariamente às correspondências que se desenvolviam livremente, certa ordem se estabeleceu graças à publicação de periódicos, reafirmando o caráter público dessa comunicação. Temos aí a gênese do processo de avaliação da ciência, em substituição às cartas que, até então, os cientistas trocavam entre si para comunicar os resultados de suas pesquisas (ZUCKERMAN; MERTON, 1971; GABLOT, 1984).

Com esses periódicos, teria surgido, de forma embrionária, o sistema de avaliação da produção científica pelos membros da comunidade, conhecido como sistema de arbitragem ou referee system. Esse sistema não surgiu de forma pronta e acabada. Os relatos mais comuns dão conta de que, como parte integrante da instituição social da ciência, a avaliação por pares teria evoluído em resposta a problemas concretos com que se defrontaram os cientistas no processo de desenvolvimento da pesquisa e como decorrência da sua emergente organização social (ZUCKERMAN; MERTON, 1971).

A transformação do relato impresso (print), mas sem a competente avaliação dos pares, em manuscritos legitimados pela leitura crítica desses (publication), mediante avaliação institucionalizada e assinada por revisores competentes, teria dado início ao processo de avaliação (ZUCKERMAN; MERTON, 1971). Embora os primeiros periódicos datem da primeira metade do século XVII, o início oficial do processo de arbitragem teria ocorrido apenas em 1753, quando a Royal Society of London passou a responsabilizar-se formalmente pela avaliação dos textos publicados. Os dois principais atores no processo de avaliação surgiram da necessidade de organizar e selecionar o material a ser publicado: o editor científico, representado pelo secretário da Sociedade, encarregado da organização do periódico; e os revisores, representados pelo Conselho da Sociedade (PESSANHA, 2001).

No entanto, Biagioli (2002) argumenta que uma profunda investigação na genealogia da avaliação por pares sugere que sua origem esteja ligada à censura da realeza. Biagioli (2002) relaciona a instituição da revisão editorial por pares à licença real que era necessária para a venda legal de textos impressos. Esse modo de censura estatal, utilizada para evitar a sedição ou heresia, foi delegada às academias reais através da aprovação de subvenções (imprimatur) que lhes eram concedidas no momento de sua fundação. A Royal Society de Londres, por exemplo, adquiriu seu imprimatur por meio de uma resolução em dezembro de 1663, um ano após a sua fundação, declarando que todo livro a ser impresso por ordem do conselho só o seria se tivesse sido lido com cuidado e considerado por dois do conselho, os quais informariam que ele estaria adequado para o projeto e o trabalho da sociedade (BIAGIOLI, 2002).

A avaliação por pares, assim, antecederia em muito a criação do periódico acadêmico, originada com a formação das próprias academias reais. A afiliação nessas sociedades exigia que os cientistas demonstrassem suas intenções sinceras na forma de experimentação, publicação ou invenção, a fim de serem elegíveis, sujeitando seu trabalho a uma forma de revisão por pares (KRONICK, 1990). Além disso, os primeiros cientistas faziam circular cartas entre os seus pares ou liam artigos em reuniões da sociedade, relatando os resultados das suas investigações com a intenção explícita de provocar resposta. A aplicação de processos de avaliação por pares para publicação de revista científica tornou-se assim uma nova prorrogação dos negócios da sociedade: avaliar e discutir os relatórios de trabalho realizado por seus membros.

A avaliação por pares no início da publicação de periódicos científicos foi feita para aumentar a experiência editorial, em vez de exercer modos mais convencionais de controle de qualidade. Além disso, como Guédon e Siemens (2002) indicam, enquanto a avaliação por pares se desenvolvia, a fim de aumentar a experiência do editor, o processo colocava o editor-chefe no controle absoluto, ainda que de uma forma aceitável (GUÉDON; SIEMENS, 2002). A disseminação dessa prática, entretanto, teria ocorrido somente a partir do século XX, após a II Guerra Mundial, devido ao crescimento exponencial do número de pesquisadores, à fragmentação da ciência em subdisciplinas e ao desenvolvimento de vocabulários específicos (LAFOLETTE, 1992 apud PESSANHA, 2001, p. 227).

Temos, assim, dois elementos presentes nas origens do peer review: a censura e o controle exercido pelo editor. Ambos estão correlacionados. O controle do editor pode ser exercido pelo veto à avaliação do artigo (desk rejection) ou pela escolha dos revisores, feita por ele. O editor passou a assumir, desde a origem dos periódicos, o papel de gatekeeper (o avaliador responsável pela primeira triagem do artigo a partir de critérios previamente apontados por cada revista ou evento científico, tem poder de veto). Revistas médicas, por exemplo, teriam mantido um único editor como gatekeeper até o século XIX, assim como outras publicações acadêmicas nos Estados Unidos e Reino Unido. Muitos periódicos acadêmicos teriam surgido principalmente para transmitir o sucesso de um instituto de pesquisa particular e foram geralmente publicados e editados por um único editor que, como diretor, considerava-se um especialista em todas as áreas relacionadas com o tema do periódico.

Com o aumento da especialização do conhecimento, vários editores renunciaram a parte de seu controle editorial e buscaram um conselho de avaliação externo (HONIG; BEDI, 2012, p. 106). Teria sido apenas na década de 1940, com a combinação de submissões crescentes e a especialização do conhecimento, que o processo cego de revisão sistemática como conhecemos hoje surgiu pela primeira vez (p. 106).

Na modalidade cega de avaliação de artigos científicos (blind review), os revisores recebem o artigo para avaliar sem ter conhecimento da identidade do(s) autor(es); A "duplamente cega" (double blind review) é assim chamada porque é feita com total anonimato de autores e revisores externos. E, embora menos comum, há a modalidade de avaliação por pares aberta, prevista pelo Movimento de Acesso Livre, em que revisores e autores têm sua identidade divulgada. Exemplo da notoriedade do sistema de arbitragem cego tem sido sua tematização em congressos científicos internacionais, há mais de uma década, dentre os quais o The International Congress on Biomedical Peer Review and Global Communications, promovido pelo Journal of American Medical Association (JAMA), British Medical Journal (BMJ) e Project HOPE (High Blood Pressure Open Public Education), em Praga, República Tcheca, em 1997 (PESSANHA, 2001).

Ainda que o sistema predominante nos periódicos da área de Administração no Brasil seja o double blind review, em geral, o editor tem acesso à identidade dos autores. Como ele é também um avaliador do artigo, podemos sugerir que não se trata de uma revisão totalmente cega. O poder de veto do editor poderá ser exercido sem que haja o benefício da dúvida em favor do artigo, dado pelo segundo ou terceiro avaliador. Enfim, reconhecemos que o papel do editor é um papel de poder, um exercício de autoridade, na medida em que ele tem a capacidade (potentia) de vetar a avaliação do artigo pelos pares e, decidindo pela pertinência dessa avaliação, ao escolher os avaliadores.

Recuperando a história, observamos que o não anonimato do nome dos autores para o editor, apesar do processo cego de avaliação por pares, preserva o poder do editor. Vale recordar a posição radical de Schopenhauer (2009), que afirmava, embora se referisse à crítica literária, que "só se tem o direito de criticar anonimamente quando se trata de livros anônimos". Para esse autor, o anonimato do crítico é o escudo de toda "patifaria literária" (p. 72), criado com o pretexto de "proteger os honrados críticos contra o rancor dos autores e de seus protetores" (p. 73).

3 Controvérsias em torno do processo de avaliação por pares

Apesar da sua aceitação e disseminação, o sistema de avaliação por pares tem sido alvo de uma série de desconfianças e críticas motivadas por distorções do seu uso (PESSANHA, 2001). De um modo geral, os pesquisadores que criticam esta modalidade de avaliação de artigos acadêmicos querem melhorar o sistema e não substituí-lo. As críticas mais genéricas, segundo Hames (2012), dão conta de que (a) a avaliação por pares estaria "em crise", (b) de que seria melhor "publicar tudo e filtrar mais tarde", (c) de que o sistema está sujeito a injustiças, (d) de que as normas de avaliação não são claras, (e) de que o processo não está imune a idiossincrasias, como abusos e preconceitos por parte de editores e revisores, (f) de que sua lentidão provoca atrasos na publicação, (g) de que o processo é pobre na detecção de erros, (h) de que é quase inútil na detecção de fraudes e má conduta, (i) de que é caro e trabalhoso e (j) de que os revisores estão sobrecarregados, trabalhando voluntariamente e sujeitos a falhas, mesmo nas melhores revistas.

Um equívoco mais frequente seria pressupor que o maior impacto de um periódico melhoraria a qualidade da avaliação por pares, quando há muitas revistas especializadas, de menor porte, que adotam uma avaliação por pares rigorosa, com editores dedicados e bem informados, e equipes editoriais comprometidas (HAMES, 2012). Essas distorções, no entanto, não estão dissociadas do fenômeno do produtivismo acadêmico, pelo qual os artigos científicos estariam se distanciando de seu papel primordial, o de comunicar descobertas científicas, para um secundário, o de comprovar a atividade e produção acadêmicas, (HAMES, 2012). Além disso, Meneghini e Fonseca (1990) consideram a avaliação por pares, que deveria ser desinteressada, competente e independente, um sistema problemático no que se refere às áreas de conhecimento relativamente pequenas e com poucos recursos, onde revisores e autores competem pela mesma verba. Este cenário nos sugere que as distorções do processo de avaliação de artigos em periódicos científicos são muito mais complexas, não devendo ser reduzida a uma questão de competência técnica ou de má conduta ética.

Considerando o já mencionado poder do editor, podemos abordá-lo a partir da subjetividade do processo avaliativo, uma vez que nem a identidade do revisor e nem a identidade do autor estão escondidas para o editor, que pode ter os seus próprios preconceitos, sendo um deles a atração pelo prestígio (FITZPATRICK, 2011). A pesquisa de Zuckerman e Merton (1971), sobre os inícios da prática da avaliação por pares na Royal Society, por exemplo, revelou que se um artigo tinha autores de alta patente, editores tinham maior probabilidade de chegar a uma decisão, sem enviá-lo para a avaliação por pares. Além disso, a seleção de revisores para um manuscrito, pelo editor, pode ser influenciada pela identidade do autor, e a avaliação do editor pode ser igualmente afetada pelos diferentes níveis de prestígio do revisor e do autor (FITZPATRICK, 2011).

A respeito de eventuais preconceitos ou subjetivações, Mattos (2005) chama a atenção para o caráter subliminar das afiliações informais - "objetivamente inegáveis, mas subjetivamente inconfessáveis" (p. 278) - uma rede altamente complexa de tendências teóricas, grupos de interesse, universidades e programas de pós-graduação e, grupos de pesquisa, dentre outros espaços e tendências, que comprometeriam o afiliado, suas razões e argumentos objetivos (factuais ou lógicos), e que teriam implicações muito reais, até mesmo na avaliação blind review.

A partir de um estudo sobre falhas da avaliação por pares para o Journal of the Royal Society of Medicine, Smith (2006) concluiu que temos poucas evidências sobre a eficácia da avaliação por pares e evidências mais consideráveis sobre seus defeitos. Além de repetir algumas das críticas já elencadas, ele compara o sistema a uma espécie de loteria, propenso a desvios e abusos. Você envia um estudo para uma revista. Ele entra em um sistema que é, efetivamente, uma caixa preta, e, em seguida, uma resposta mais ou menos sensível sai na outra extremidade. A caixa preta é como a roleta, e os prêmios e as perdas podem ser grandes. Para um acadêmico, publicar em um jornal de grande envergadura como Nature ou Cell é ganhar o prêmio.

No tocante a prazos e custos, o estudo de Smith (2006), editor do British Medical Journal (BMJ) à época, levantou que muitas revistas, mesmo na era da internet, levariam mais de um ano para analisar e publicar um livro, e de que é difícil conseguir bons dados sobre o custo da avaliação por pares, especialmente porque revisores e muitos editores não são remunerados para isto. Ao contrário, haveria um substancial "custo de oportunidade", na linguagem dos economistas, em que o tempo gasto na avaliação poderia ser gasto para fazer algo mais produtivo, como pesquisa original (SMITH, 2006). Quanto à identificação de subjetivismos de diferentes ordens no processo de avaliação por pares, Smith amplia nosso horizonte de compreensão denunciando a existência de fortes evidências contra "estudos negativos", ou seja, estudos sobre uma intervenção que não funciona, denúncia esta particularmente importante no campo da Medicina.

Outras situações denunciadas por Smith (2006) podem ser consideradas abusivas no tocante à avaliação por pares: pode-se roubar idéias e apresentá-las como suas, ou produzir uma revisão injustamente severa para bloquear ou pelo menos retardar até a publicação das idéias de um concorrente. Além disso, foram feitos vários estudos no BMJ a partir da inserção de erros grosseiros em documentos e seu envio para muitos revisores. Nenhum desses chegou a localizar todos os erros. Alguns revisores não localizaram um sequer, e a maioria dos revisores só conseguiu localizar 25% deles. Para Smith, a avaliação por pares, por vezes, identifica a fraude por acaso, mas geralmente não é um método confiável para sua detecção, porque ela funciona na confiança.

Essas evidências sugerem que o processo de peer review e o controle de qualidade tradicional, fechado e anônimo não é tão razoável quanto geralmente pensamos que seja (FITZPATRICK, 2011; HAMES, 2012; SMITH, 2006). Para Fitzpatrick (2011), a avaliação anônima teria o efeito de dar aos revisores poder sem responsabilidade, uma vez que, protegidos pelo "véu do anonimato", se comportariam, em variadas situações, de modo não profissional, chegando a formas inaceitáveis de desonestidade acadêmica. Tais comportamentos não seriam a norma, mas eles ocorreriam com frequência tão grande que deveriam, minimamente, nos deixar em estado de alerta. Nesse sentido que afirmamos que publicar não é preciso, com o perdão da ambigüidade em favor da licença poética.

Do outro lado do processo de revisão estão os autores-atores, supostamente iguais em uma discussão sobre seu trabalho. O processo de avaliação por pares anônimos efetivamente deixaria o autor de fora da conversação, o que se torna uma discussão entre o revisor e editor sobre o trabalho de um terceiro (FITZPATRICK, 2011). O anonimato do revisor, no entanto, tem sido parte do processo de avaliação por tão longo tempo que muitos acadêmicos expressariam alarme diante da ideia de que essa proteção seja removida, insistindo que o seu anonimato como revisores é necessário para que eles tenham a liberdade de dizer que um manuscrito não deve ser publicado. Tal posição seria certamente justificável se o objetivo principal da avaliação por pares fosse o controle de qualidade, e que se pudesse demonstrar que o processo é rigoroso e eficaz (FITZPATRICK, 2011). Alguns episódios e estatísticas mais ou menos conhecidos podem ilustrar esse clima de desconfiança e mobilização na busca de alternativas.

O célebre artigo "Práticas de avaliação pelos pares das revistas de Psicologia", de Peters e Ceci, de 1982, já denunciava que a confiabilidade do revisor não está de todo garantida. Em seu experimento, os pesquisadores selecionaram um artigo de cada um dos 12 periódicos da área, publicados entre 18 e 32 meses antes, e ressubmeteram os artigos ao mesmo periódico, com algumas pequenas modificações: eles mudaram os nomes dos autores (mas, significativamente, não seus sexos), criaram novas afiliações institucionais para seus autores (nomeadamente substituindo instituições de renome por outras de pouca ou nenhuma visibilidade), e alteraram a redação, mas não o significado, do início dos parágrafos. Apenas três dentre 12 artigos foram descobertos pelos editores ou revisores por já terem sido publicados anteriormente, sendo que dos nove restantes oito foram rejeitados, a maioria em razão de falhas metodológicas. A conclusão dos pesquisadores é que uma das duas coisas aconteceu: ou os primeiros revisores que aprovaram os artigos publicados originalmente foram incompetentes, o que parece improvável, ou que um viés sistemático teria operado para produzir opiniões discrepantes (PETERS; CECI, 1982).

Ao se reportar a este célebre caso, Smith (2006) afirma que Peters e Ceci inventaram instituições com nomes como Tri-Valley Center for Human Potential, que os artigos que burlaram a vigilância dos editores e revisores foram rejeitados devido a sua má qualidade e que os pesquisadores teriam concluído que esta experiência era uma evidência de preconceito contra autores de instituições de menos prestígio.

Outra falha no sistema de avaliação pode ser retratada pela situação protagonizada pelo físico norte-americano Alan Sokal, descrita como uma piada nas primeiras páginas da obra "Imposturas Intelectuais" (SOKAL; BRICMONT, 1998). Sokal, inconformado com o fato de um periódico da área de Ciências Sociais ter se negado a publicar um artigo seu, escreveu outro, no estilo do próprio periódico, tendo sido este aprovado. Tal artigo, no entanto, era um ensaio medíocre, não mais do que uma piada repleta de frases absurdas e sem sentido. Logo depois, Sokal publicou em outro periódico, o artigo original, ridicularizando os editores e, consequentemente, o sistema de avaliação do primeiro periódico. Por que o segundo artigo de Sokal foi publicado? Talvez porque Sokal fosse um físico respeitado na comunidade científica americana? Por que defendia, embora de uma maneira confusa, as crenças dos revisores? "Considerando-se que a avaliação sistemática de pesquisas é fato extremamente recente na comunidade científica, esse tipo de acontecimento pode ser utilizado como exemplo a ser evitado, tanto para a otimização quanto para a própria validação do sistema de avaliação como um todo" (FREITAS, 1998, p. 5).

Apesar da centralidade do processo de avaliação por pares na pesquisa científica e sua divulgação, falta transparência e rigor neste sistema de arbitragem em boa parte dos periódicos nacionais. Uma pesquisa com o objetivo de analisar a qualidade dos periódicos científicos eletrônicos brasileiros criados por meio do Sistema Eletrônico de Editoração de Revistas (SEER), conduzida por Costa e Guimarães (2010), identificou que, do universo de 16 periódicos investigados, de diferentes áreas do conhecimento, mais da metade deles (56,24%) não trazia uma explicação consistente e concisa em suas páginas eletrônicas sobre a avaliação por pares, particularmente quanto a datas do processo de arbitragem (recepção, aceitação para publicação e publicação). Ora, a literatura especializada define como indicador de relevância de um periódico que ele especifique "a metodologia adotada para avaliação e apropriação dos artigos, a fim de que os autores possam tomar conhecimento do que é considerado essencial para que os artigos sejam aceitos para publicação." (COSTA; GUIMARÃES, 2010, p. 84-85; p. 88-89).

Direcionando o nosso olhar para a produção científica em Administração no Brasil, a partir de pesquisa de Bertero, Caldas e Wood Jr. (1999), identificou-se naquele momento três aspectos críticos: "[...] a falta de originalidade, a relevância questionável, seja do ponto de vista prático ou acadêmico, e a qualidade falha, tanto do ponto de vista epistemológico, quanto do ponto de vista metodológico." (p. 152). Embora se reconheça que o desenvolvimento da ciência administrativa deva ser feito dentro de paradigmas e mediante a ação esclarecida de revisores, os quais estabelecem regras básicas para a publicação de pesquisa científica, os pesquisadores chegaram a considerar a hipótese de que a permissividade dominante no ambiente acadêmico local estivesse comprometendo a evolução da qualidade da nossa produção acadêmica (BERTERO, CALDAS; WOOD JR., 1999). O fato de que essa pesquisa tenha sido realizada há mais de uma década só aguça o nosso senso de investigação acadêmica sobre o vigor e as limitações de nossa produção atual em comparação com a daquele momento.

Numa primeira etapa da pesquisa, direcionada para critérios prescritos nos principais periódicos da área de Administração, Bertero, Caldas e Wood Jr. (1999) constataram que "os critérios de avaliação de artigos variavam significativamente conforme a orientação editorial (alvo, foco, abrangência, etc.) do periódico" e que o sentido dado a cada critério de avaliação também variava conforme a orientação editorial do periódico (p. 155). Numa segunda etapa da pesquisa, sobre critérios de avaliação levantados junto a pesquisadores seniores brasileiros, evidenciou-se uma grande heterogeneidade de critérios de julgamento da produção científica em Administração usados no Brasil, caracterizados por (a) baixo consenso em relação aos critérios prescritos para julgar a produção científica, (b) baixo consenso quanto a quais seriam os critérios mais importantes e (c) baixo consenso quanto ao significado atribuído a cada critério.

Na última etapa da pesquisa, sobre critérios utilizados por revisores no Brasil, os autores constataram que (BERTERO; CALDAS; WOOD JR., 1999):

1. O sistema de blind review era considerado como o mais apropriado à avaliação de trabalhos científicos e que, mesmo assim, 1 em cada 5 revisores frequentemente conhecia ou sempre conhecia a identidade do autor e/ou instituição de origem do avaliado;

2. Havia consistência entre a opinião do revisor, quanto à eleição do melhor e do pior trabalho, e o índice de publicação ou apresentação. No entanto, registrou-se um índice relativamente alto de publicação ou apresentação alcançado pelos piores trabalhos. Foi especulado que esse índice se relacionava tanto à heterogeneidade de critérios de julgamento entre revisores, quanto a uma baixa seletividade dos periódicos.

3. No tocante à adequação entre revisor e tema avaliado, 40% deles reconheceram que não tinham grande familiaridade com os temas dos trabalhos que avaliaram. Este resultado divergiu de uma das premissas principais do sistema de blind review, que sugere que os avaliadores tenham visão ampla do campo no qual o trabalho avaliado se insere e conhecimento razoável sobre o tema tratado. Tal situação, pode-se supor, devia-se ao desenvolvimento ainda insuficiente do campo, o que resultava tanto em número reduzido de revisores quanto em qualificação global insuficiente para fazer frente ao grau de variedade dos trabalhos que eram avaliados.

Estes resultados da pesquisa de Bertero, Caldas e Wood Jr. (1999) parecem confirmar a ressalva feita pelo Manual de Boas Práticas da Publicação Científica, da ANPAD (2010), de que, embora o fluxo do processo editorial seja amplamente conhecido dos acadêmicos em geral, não basta conhecê-lo (operacionalização) para que se alcance o resultado desejado (eficiência), pois, pelo fato de envolver diferentes atores, ideias e interesses, esse processo contém uma alta dose de subjetividade (KACMAR, 2008 apud ANPAD, 2010, p. 2).

Um amplo estudo sobre a relação entre a avaliação por pares e o plágio decorrente de uma maior pressão por publicação foi conduzida por Honig e Bedi (2012). Para os autores, existem oportunidades no sistema para uma considerável manipulação e violação ética (HONIG; BEDI, 2012). De uma lista hierarquizada de 10 infrações de plágio mais comuns, as cinco principais, segundo Bartlett and Smallwood (2004 apud HONIG; BEDI, 2012, p. 106), seriam: (a) cópia de toda a obra, uma parte substancial, parágrafos, frases ou cláusulas, (b) cópia de ideias mais originais, (c) paráfrase de segmentos de grande dimensão sem novas contribuições, (d) paráfrase de segmentos de tamanho moderado sem novas contribuições e (e) cópia literal ou não literal de segmentos pouco importantes de tamanho pequeno (por exemplo, cláusulas, frases, expressões e neologismos). Tal como acontece com todas as regulamentações, estas infrações e a probabilidade de violação seriam dependentes de ambas as condições contextuais, tais como o grau de transparência envolvido, e as características da regulamentação, incluindo a aplicabilidade e os fatores processuais (LEHMAN; RAMANUJAM, 2009 apud HONIG; BEDI, 2012, p. 106).

4 Sugestões de aprimoramento ao processo de avaliação por pares

A questão mais importante com relação à avaliação por pares não é se se deve abandoná-la, mas como melhorá-la. Muitas ideias têm sido lançadas com este intuito e um número crescente delas tem sido testado experimentalmente. Valemo-nos das recomendações de Smith (2006), cujas opções incluem (a) padronização de procedimentos, (b) abertura do processo de avaliação, (c) blindagem de revisores para a identidade dos autores, (d) revisão de protocolos, (e) formação de revisores, (f) maior rigor na seleção e desseleção de revisores, (g) uso de revisão eletrônica, (h) gratificação de revisores, (i) apresentação de feedback detalhado para revisores, (j) utilização de mais listas de verificação, ou (k) criação de agências de revisão profissional. Também para fazer face às distorções apontadas nesse sistema, Pessanha (2001) identifica alguns mecanismos e procedimentos que já foram introduzidos, a fim de evitá-las ou minimizá-las: (a) solicitação de declarações de compromisso dos avaliadores, (b) envio de questionários com critérios norteadores do julgamento, (c) utilização de maior número de árbitros, (d) submissão de todos os pareceres aos revisores a fim de possibilitar o controle de um revisor sobre o outro (e) garantia aos autores da possibilidade de recorrer da decisão por intermédio do editor científico, que, por sua vez, deve proporcionar um diálogo respeitoso e profissional entre autor e revisor.

De todas essas opções, consideramos que a abertura do processo de avaliação não resolveria o problema da subjetividade e aumentaria o problema do poder. Muitas das recomendações acabam por reforçar aspectos formais da avaliação, como a padronização de procedimentos, a revisão de protocolos, o uso da revisão eletrônica as listas de verificação. A formação dos revisores continua sendo um ponto crucial de todo o sistema. E, um aspecto esquecido pelos autores, a escolha dos revisores, merece maior atenção. Alguns periódicos estão introduzindo o compromisso de que o autor avalie dois artigos quando submete um à revista. Mas como é feita a avaliação da qualidade e competência desse revisor?

Vale a pena aqui recuperar uma das propostas feitas por Thiry-Cherques (2005), quando do debate da questão na Revista O&S, recomendação que nos parece esquecida e fora da agenda dos fóruns de editores. Para esse autor, com quem concordamos, os textos a serem examinados deveriam ser codificados, isto é, receber apenas um número, como acontece nos exames, para que o nome do autor seja desconhecido não só do revisor, mas, igualmente, do editor, de modo que os seus desafetos não pudessem ser excluídos e os prediletos incluídos. O resgate da história do peer review e toda a revisão da literatura atual sobre o tema nos permitem dizer que grande parte da subjetividade presente no fluxo do processo de arbitragem tem origem na parcialidade da avaliação cega, curiosamente restrita a revisores.

O sistema blind review é ainda, em nossa opinião, um modo de evitar certas formas de subjetividade por parte do revisor, por exemplo, impedindo a continuação de uma "rede de velhos amigos" que excluiria o trabalho de mulheres, ou garantir que rancores pessoais não desempenhem nenhum papel no processo de revisão. É importante reconhecer que a avaliação cega tinha, em sua introdução, o efeito de abrir os espaços para o discurso acadêmico das mulheres. A crítica de que a eficácia da avaliação cega em genuinamente mascarar a identidade autoral a cegueira seja fútil não altera nosso posicionamento. Tal inoperância da cegueira se deve à possibilidade de que alguém capaz de avaliar a pesquisa em uma determinada especialidade geralmente conheça a especialidade suficientemente bem para identificar o provável autor do manuscrito sob avaliação (GUÉDON; SIEMENS, 2002; SMITH, 2006). Em muitos casos, de fato, o autor já teria sido previamente apresentado e seu material discutido em público, seja através de redes informais ou em ambientes mais formais como conferências. Para esses críticos, a avaliação cega só pode corrigir o viés da falácia ad hominem (do latim, "contra a pessoa"), aquela identificada quando alguém procura negar uma proposição com uma crítica não ao seu conteúdo, mas ao seu autor.

Se a avaliação cega não é tão cega assim, a avaliação aberta não resolveria o problema. A experiência de implantação deste modelo junto ao British Medical Journal foi compartilhada por Smith (2006), com resultados pouco animadores. Havia, desde o início, uma expectativa de que o aumento da prestação de contas pudesse melhorar a qualidade da avaliação dos artigos. No entanto, a cada nova etapa do processo de implantação desta nova modalidade de avaliação não houve nenhum efeito prático sobre a qualidade de opiniões dos revisores. Eles não se tornaram nem melhores nem piores depois dessas medidas (SMITH, 2006).

Reconhecemos que o debate sobre o processo de avaliação de artigos científicos vem se dedicando, cada vez mais, à questão ética (PESSANHA, 2001). Os casos de fraude, plágio e outros tipos de conduta inadequadas no processo de produção e comunicação da ciência têm crescido nas comunidades científicas. Por isso mesmo, ao lado do controle interno das editorias de revistas, as sociedades científicas, bem como alguns periódicos importantes, desenvolveram códigos de ética. De estrutura semelhante em todos os ramos do conhecimento, esses códigos prescrevem normas de comportamento aos pesquisadores no desempenho dos papéis de autores, revisores e editores (PESSANHA, 2001). Sem embargo, o editor parece estar acima dos preconceitos, como se fosse psiquicamente e ideologicamente neutro. É preciso considerar que o editor também exerce o papel de avaliador, mesmo que Kirschbaum e Marcarenhas (2009) reconheçam no modelo brasileiro de avaliação por pares que os revisores sejam os gatekeepers, ao contrário do modelo internacional.

Por fim, defendemos a importância do treinamento ou formação dos revisores. Por um lado, parece desconcertante que não haja nenhum treinamento formal para um trabalho tão importante. Por outro, a ideia de formar ou treinar sugere uma determinada concepção de avaliação que seja ideal, que parece não haver. Os periódicos divulgam artigos que se valeram da metodologia científica para que suas contribuições fossem produzidas. Entretanto, o processo de avaliação não recebe tratamento científico algum. Os revisores geralmente aprendem por tentativa e erro ou por trabalhar com um revisor experiente (mas não necessariamente muito competente). De qualquer modo, compreendido como uma alternativa de promover a reflexão sobre o processo de revisão de artigos, ousamos sugerir uma alternativa de aperfeiçoamento inspirada na experiência vivida por um dos autores desse artigo como revisor do Congresso da Academy of Management em 2013. Este é o tema da seção a seguir.

5 Uma proposta à guisa de conclusão

Como dito anteriormente, a formação de avaliadores é uma tarefa que esbarra em problemas de natureza epistemológica. Um artigo tem forma, estrutura e conteúdo. Aspectos de forma, como aqueles enumerados nas normas de submissão de um artigo são facilmente detectáveis, podendo sim haver um treinamento para os editores responsáveis pelo desk review. Aspectos de estrutura dependem da competência de redação do autor, que deve ser capaz de escrever com clareza, articular bem as ideias e tornar a compreensão o mais fácil possível. O avaliador tem essa percepção de forma subjetiva, a partir da dificuldade que ele próprio encontrou para ler o trabalho. Nessa avaliação, características do avaliador e do contexto em que realiza a avaliação podem influenciar o seu parecer. Em relação aos aspectos de conteúdo, a avaliação de um artigo depende diretamente do quanto o avaliador conhece sobre o tema e sobre o método utilizado na avaliação. A escolha do avaliador costitui-se, portanto, em um fator de fundamental importância em todo o processo. Há ainda outro aspecto a se considerar: a língua em que o artigo foi escrito e a língua nativa do avaliador. Esse aspecto é relevante em um contexto de internacionalização da produção e da composição dos comitês editoriais.

Tomemos aqui um exemplo experenciado por um dos autores desse trabalho. Por meio do site da Academy of Management, ele se inscreveu como avaliador pela primeira vez (first review). Depois de preencher um formulário com seus dados pessoais, temas e metodologias de preferência na divisão em que se inscreveu, o candidato a avaliador foi convidado a ler três textos sobre o processo de avaliação. São eles:

1. ROMANELLI, Elaine. Becoming a reviewer: Lessons somewhat painfully learned. In: FROST, Peter; TAYLOR, Susan. Rhythms of academic life. Personal accounts of careers in academia. Sage Publications: Foundations for Organizational Science, 1996;

2. SCHWAB, Donald. Reviewing empirically based manuscripts: Perspectives on process. In: CUMMINGS, L. L.; FROST, Peter J. (Eds). Publishing in the organizational sciences. Sage Publications: London, 1985. p.171-181;

3. LEBLEBICI, Huseyin. The act of reviewing and being a reviewer. In: FROST, Peter; TAYLOR, Susan. Rhythms of academic life. Personal accounts of careers in academia. Sage Publications: Foundations for Organizational Science, 1996.

O candidato a revisor tem a opção de fazer o download dos três textos, todos capítulos de livro. No primeiro texto (ROMANELLI, 1996), a autora, Elaine Romanelli, apresenta-se como uma revisora experiente, que sempre tem artigos sobre a sua mesa esperando o seu parecer. Ela conta a sua história, mostrando que aprendeu com a prática. Inicialmente, como queria mostrar sua competência para o editor - cargo de enorme prestígio na academia americana - escreveu o seu parecer para o editor. Nesse caso, procurou demonstrar todo o seu conhecimento, a fim de conquistar sua admiração. Em outro momento da carreira, passou a escrever seu parecer para si mesma, ou, dito de outra forma, como ela teria escrito aquele artigo. No momento em que escrevia o texto, ela se considerava em outro momento, mais maduro, escrevendo de fato para o autor do manuscrito. O texto de Romanelli não apresenta uma receita, mas é muito útil para o revisor aprendiz. Essa partilha de experiência, com pessoas mais experientes pode ser a chave para a formação de revisores, visto que não impõe um modo de avaliar, mas permite a reflexão sobre a melhor forma de avaliar. Podemos nos perguntar, a partir da sua contribuição: para quem estamos redigindo o parecer sobre um artigo? Para o editor, para nós mesmos ou para o autor?

O segundo texto, de Schwab (1985), começa fazendo a ressalva de que não se trata de um tutorial, mas de uma troca de experiência. O autor se sente mais confortável com textos empíricos, mais do que com ensaios teóricos porque sua estrutura é conhecida: introdução, método, análise e conclusões. (Repare que não há uma seção para o referencial teórico). Além disso, avaliar métodos empíricos, principalmente aqueles que contam com análise estatística, permite julgamentos com menor dificuldade do que o julgamento de idéias de um texto teórico.

O terceiro texto (LEBLEBICI, 1996) tem estilo parecido com os anteriores, também escrito em primeira pessoa. O autor conta suas preferências para avaliar, fala de temas comuns aos revisores como tempo e deadlines. Relata em detalhes a sua atuação diante de um artigo que acaba de receber para avaliar e disserta sobre o papel do revisor.

Mesmo para um revisor experiente, a leitura desses textos é muito interessante. Ele se sente conversando com seus colegas, ainda que de outros países. Ele se irmana com as dificuldades e se vê em várias das situações relatadas. A leitura de textos assim permite fazer-se objeto de reflexão, tarefa fundamental para se fazer ciência.

O sistema da Academy of Management possibilita marcar a opção de que o candidato a revisor leu os textos disponibilizados para ele. Não foi o caso de um dos autores desse artigo. Ele deixou para marcar depois de tê-los lido. Semanas mais tarde, ele recebe um email informando que havia dois artigos para serem avaliados. Estranhou, em princípio, pois não havia concluído a inscrição, embora tivesse lido e gostado dos textos de leitura prévia sobre a atividade do revisor. Ao baixar o primeiro artigo para leitura e avaliação, o sistema exigiu dele que marcasse a opção de que havia lido os artigos de preparação. Trata-se de uma estratégia democrática, útil, simples e muito interessante. E que pode ser copiada por editores de revista e organizadores de congresso.

Valendo-se da iniciativa da Academy of Management como benchmarking, propomos que o Encontro da Divisão de Ensino e Pesquisa em Administração e Contabilidade da ANPAD promova iniciativa semelhante para os avaliadores convidados a revisar artigos encaminhados para o seu congresso bianual. A seleção dos textos de leitura prévia pode ser feita a partir de consulta à comunidade. Editores e revisores experientes podem ser convidados por editores a escrever algo semelhante para publicação. Esses artigos poderiam compor a seleção da Revista. Até um concurso pode ser feito para que artigos de diferentes matizes e abordagens sejam selecionados. Em nossa revisão de literatura, consideramos que poucos textos em língua nacional têm o estilo dos textos aqui analisados. Entretanto, selecionamos quatro artigos para compor uma primeira seleção, a fim de dar o primeiro passo. São eles, listados em ordem alfabética:

1. KIRSCHBAUM, Charles; MARCARENHAS, André Ofehejm. Nos limites da autonomia: reflexões sobre práticas de blind review e editoria de revistas científicas em administração no Brasil. Revista de Administração de Empresas-eletrônica, São Paulo, SP, v. 8, n. 1, p. 1-21, jun. 2009;

2. PESSANHA, Charles. Criterios editoriales para la evaluación científica: notas para la discusión. Acimed, Ciudad de La Habana, v. 9, n. 4, p. 131-134, 2001;

3. PINHO, José Antônio Gomes de. Brevíssimo manual do editor: considerações sobre submissão e avaliação de artigos, o papel dos pareceristas e do editor de revistas científicas. Organizações & Sociedade, Salvador, v. 12, n. 34, p. 169-173, set. 2005;

4. SMITH, Richard. Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicine, London, v. 99, n. 4, p. 178-182, abr. 2006.

Nenhum desses artigos tem o estilo encontrado nos capítulos americanos, que relatam experiências pessoais. Em nossa área de Administração, somos reservados para escrever nossos artigos em primeira pessoa. Permitimo-nos no máximo o uso do plural majestático na primeira pessoa.

Consideramos, enfim, importante trazer o tema da avaliação por pares, em particular da avaliação de artigos científicos, para o centro da discussão em nosso meio universitário. A avaliação por pares é um processo imperfeito, com contradições facilmente identificáveis e com pouca evidência de que venha a funcionar plenamente. No entanto, deverá manter-se central para a ciência e avaliação de artigos acadêmicos porque não há alternativa óbvia, e os cientistas e editores têm uma crença continuada neste sistema. A avaliação por pares é imprecisa, mas algo de que precisamos. Segundo Smith (2006), "[...] como é estranho que a ciência esteja enraizada na crença" (p. 182). Em um contexto em que a avaliação de um programa e os critérios de recredenciamento e descredenciamento de professores assumem importância vital para a vida das instituições e das pessoas que nela trabalham é inadmissível que o tema do peer review continue adormecido em nossas fronteiras. Em outras áreas do conhecimento e em outros países, essa discussão já começou.

Referências

• ANPAD- Associação Nacional de Pós-graduação e Pesquisa em Administração- . Boas práticas da publicação científica: um manual para autores, revisores, editores e integrantes de corpos editoriais. Rio de Janeiro: Anpad, 2010. Disponível em: <Disponível em: http://www.anpad. org.br/diversos/boas_praticas.pdf >. Acesso em: 20 fev. 2014.
  » http://www.anpad. org.br/diversos/boas_praticas.pdf
• BARROS, Kazue Saito Monteiro de. O que é um Ensaio? Revista de Administração Contemporânea, Curitiba, v. 15, n. 2, p. 333-337, abr. 2011.
• BERTERO, Carlos Osmar; CALDAS, Miguel Pinto; WOOD JR., Thomaz. Produção científica em administração de empresas: provocações, insinuações e contribuições para um debate local. Revista de Administração Contemporânea, Curitiba, v. 3, n. 1, p. 147-178, abr. 1999.
• BIAGIOLI, Mário. From book censorship to academic peer review. Emergences: Journal for the Study of Media & Composite Cultures, London, v. 12, n. 1, p. 11-45, maio 2002.
• COSTA, Sely Maria de Souza; GUIMARÃES, Luiza Veras de Sandes. Qualidade de periódicos científicos eletrônicos brasileiros que utilizam o Sistema Eletrônico de Editoração de Revistas (SEER). Informação & Informação, Londrina, v. 15, n. 1, p. 76-93, 2010.
• FITZPATRICK, Kathleen. Planned Obsolescence: publishing, technology, and the future of the academy. NYU Press Short: Kindle Edition, 2011.
• FREITAS, Maria Helena de Almeida. Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional, Campinas, v. 2, n. 3, p. 211-228, 1998.
• GABLOT, Ginette. Qu'est-ce qu'un périodique scientifique? Bulletin des Bibliothèques de France, Villeurbanne, v. 29, n. 5, p. 384-387, out. 1984.
• GUÉDON, Jean-Claude; SIEMENS, Raymond. Peer Review and Imprint. Text Technology, Hamilton, v. 11, n. 1, p. 17-34, jun. 2002.
• HAMES, Irene. The current state of peer review: criticisms, challenges and innovations. In: ENCONTRO DA ASSOCIAÇÃO BRASILEIRA DE EDITORES CIENTÍFICOS, 7., 2012, Florianópolis SC. Disponível em: <http://www.abecbrasil.org.br/novo/eventos/vii_workshop/palestras/ssep/Irene.pdf>. Acesso em: 10 set. 2014.
  » http://www.abecbrasil.org.br/novo/eventos/vii_workshop/palestras/ssep/Irene.pdf
• HÉBERT, Paul (Ed.). Examen par les pairs ou lobby politique? Le choix est clair. Canadian Medical Association Journal, Ottawa, v. 176, n. 10, p. 1391, maio 2007.
• HONIG, Benson; BEDI, Akanksha. The fox in the hen house: a critical examination of plagiarism among members of the Academy of Management. Academy of Management Learning & Education, Briarcliff Manor, v. 11, n. 1, p. 101-123, mar. 2012.
• KACMAR, K. M. Setting up an effective manuscript-review process. In BARUCH, Y.; KONRAND, A.M.; AGUINIS, H.; STARBUCK, W. H. (Ed). Opening the black box of editorship. New York: Palgrave. 2008.
• KIRSCHBAUM, Charles; MARCARENHAS, André Ofehejm. Nos limites da autonomia: reflexões sobre práticas de blind review e editoria de revistas científicas em administração no Brasil. Revista de Administração de Empresas-eletrônica, São Paulo, SP, v. 8, n. 1, p. 1-21, jun. 2009.
• KRONICK, David. Peer Review in 18th-Century Scientific Journalism. JAMA, Chicago, v. 263, n. 10, p. 1321-1322, mar. 1990.
• LEBLEBICI, Huseyin. The act of reviewing and being a reviewer. In: FROST, Peter; TAYLOR, Susan. Rhythms of academic life. Personal accounts of careers in academia.. Sage Publications: Foundations for Organizational Science, 1996.
• MATTOS, Pedro Lincoln C. L. Sobre a ética do pesquisador: uma dimensão pouco explorada. Gestão. Org, Recife, v. 3, n. 3, p. 274-280, dez. 2005.
• MENEGHETTI, Francis Kanashiro. O que é um Ensaio-Teórico? Revista de Administração Contemporânea, Curitiba, v. 15, n. 2, p.320-332, abr. 2011.
• MENEGHINI, Rogério; FONSECA, Lúcia. Índices alternativos de avaliação da produção científica em bioquímica no Brasil. Ciência e Cultura, São Paulo, v. 42, n. 9, p. 629-646, 1990.
• PAGANI, Fabrizio. Peer Review as a Tool for Co-operation and Change: an analysis of an OECD working method. African Security Review, Paris, v. 11, n. 4, p. 15-24, set. 2002.
• PESSANHA, Charles. Criterios editoriales para la evaluación científica: notas para la discusión. Acimed, Ciudad de La Habana, v. 9, n. 4, p. 131-134, 2001.
• PETERS, Douglas; CECI, Stephen. Peer-review practices of psychological journals: the fate of published articles, submitted again. Behavioral and Brain Sciences, Grand Forks, ND, v. 5, n. 2, p. 187-255, jun. 1982.
• PINHO, José Antônio Gomes de. Brevíssimo manual do editor: considerações sobre submissão e avaliação de artigos, o papel dos pareceristas e do editor de revistas científicas. Organizações & Sociedade, Salvador, v. 12, n. 34, p. 169-173, set. 2005.
• ROMANELLI, Elaine. Becoming a reviewer: Lessons somewhat painfully learned. In: FROST, Peter; TAYLOR, Susan. Rhythms of academic life. Personal accounts of careers in academia. Sage Publications: Foundations for Organizational Science , 1996.
• SCHOPENHAUER, Arthur. A arte de escrever. Porto Alegre: L&PM, 2009.
• SCHWAB, Donald. Reviewing empirically based manuscripts: perspectives on process. In: CUMMINGS, L. L.; FROST, Peter J. (Eds). Publishing in the organizational sciences. Sage Publications: London, 1985. p.171-181
• SMITH, Richard. Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicine, London, v. 99, n. 4, p. 178-182, abr. 2006.
• SOKAL, Alan; BRICMONT, Jean. Imposturas intelectuales. México: Paidós, 1998.
• STUMPF, Ida. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspectivas em Ciência da Informação, Porto Alegre, v. 13, n. 1, p. 18-32, abr. 2008.
• THIRY-CHERQUES, Hermano Roberto. Comentando: 'A face oculta do parecerista: discussões éticas sobre o processo de avaliação de mérito de trabalhos científicos'. Organizações & Sociedade, Rio de Janeiro, v. 12, n. 32, p. 181-182, 2005.
• ZUCKERMAN, Harriet; MERTON, Robert K. Patterns of evaluation in science: Institutionalisation, structure and functions of the referee system. Minerva, New York, v. 9, n. 1, p. 66-100, jan. 1971.

Datas de Publicação

• Publicação nesta coleção
  Aug-Nov 2016

Histórico

• Recebido
  05 Maio 2014
• Aceito
  04 Nov 2014