Uma Análise Comparativa dos Fatores de Rejeição nos Periódicos de Diferentes Estratos de Administração

A Comparative Analysis of Why Papers Are Rejected in Management Journals of Different Strata

Resumo

A publicação de artigos científicos é um dos requisitos impostos aos pesquisadores brasileiros e contribui decisivamente para a reputação, mobilidade e benefícios financeiros destes. Para aferir a qualidade das publicações, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) criou o Sistema Qualis, que classifica os periódicos em oito estratos – de A1 (mais alto) a C (mais baixo), inferindo diferenças de qualidade dos artigos a partir dos estratos dos periódicos em que são publicados. Este artigo examina as falhas e as lacunas que representam fatores para a rejeição de artigos submetidos aos periódicos de Administração, comparando os motivos de rejeição entre periódicos de diferentes estratos. Metodologicamente, realizamos um estudo empírico com dados obtidos por questionário junto a 82 editores de periódicos de Administração. Contrariamente às expectativas, os resultados não deixam evidentes diferenças muito significativas nas lacunas que levam à rejeição de artigos entre periódicos de diferentes estratos. Este artigo tem contribuições e implicações para pesquisadores, editores e agências reguladoras. Vale destacar que o leitor atento consegue identificar os problemas e as lacunas mais frequentes e fica mais preparado para produzir melhores artigos para futuras submissões.

estratos Qualis; editores; pesquisa em Administração; processo editorial; publicação

Abstract

The publication of scientific articles is one of the requirements imposed on Brazilian researchers and contributes decisively to their reputation, mobility and financial benefits. To assess the quality of publications, Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) created the Qualis system, that classifies journals into eight levels - A1 (highest) to C (lowest) - inferring the quality of the articles from the strata of the journals in which they are published. This article examines the flaws and gaps that represent factors for rejecting articles submitted to management journals, comparing the motives for rejection between journals from different strata. Methodologically, we conducted an empirical study with data obtained by questionnaire from 82 editors of Brazilian management journals. Contrary to expectations, the results do not point to clear differences in the factors that lead to rejection between journals from different strata. This article has contributions and implications for researchers, publishers and regulators. In particular, the thoughtful reader can identify the most frequent problems and gaps and be more prepared to produce better articles for future submissions.

Qualis ranks; editors; management research; editorial process; publication

Introdução

Em ambientes acadêmicos cada vez mais competitivos (Kumar, Rafiq, & Imam, 2010), os pesquisadores são pressionados a publicar (Samkin, 2011) para progredirem na carreira profissional (Picinin, Pilatti, Kovaleski, & Pedroso, 2013) ou simplesmente para manterem o emprego (Frey, 2003) e reforçar o seu reconhecimento na academia (Bedeian, 2003). Crescentemente, a pressão é que os pesquisadores publiquem não apenas artigos em periódicos com revisão pelos pares (peer reviewed) (Frey, 2003), mas, principalmente, em periódicos de maior reconhecimento ou impacto (Miller, Pavehouse, Rogowski, Tingley, & Wilson, 2013). Essa pressão para publicar tem raízes na institucionalização da produção científica (Bertero, Alcadipani, Cabral, Faria, & Rossoni, 2013), e, no Brasil, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) estabelece pontuações de produção científica a serem atingidas pelas instituições de ensino superior (IES) e, consequentemente, pelos pesquisadores (Maccari, Rodrigues, Alessio, & Quoniam, 2008).

Para garantir o desenvolvimento científico, o governo brasileiro adotou uma postura de Estado avaliador, que avalia as instituições de ensino superior (IES) a posteriori, por meio de avaliações trienais pela CAPES (Maccari, Almeida, Riccio, & Alejandro, 2014). Com isso, a avaliação das IES observa diversos critérios, entre os quais a publicação de artigos científicos em periódicos com revisão (Mesquita, Medeiros, Sena, Silva, & Gomes, 2013). Para quantificar a qualidade das publicações dos pesquisadores na avaliação das IES, a CAPES criou o sistema Qualis, que organiza os periódicos por estratos, seguindo critérios de qualidade, impacto e relevância (Beuren & Souza, 2008), aos quais Ferreira (2015) se referiu como mais procedimentais e de organização do que baseados em efetiva avaliação de qualidade. Inerente a esse sistema está a suposição de que os periódicos de nível mais alto têm níveis de exigência superiores e conduzem o processo editorial de forma mais eficaz. Essa suposição de que os melhores periódicos têm maior exigência é, pelo menos em parte, atribuída pelas altas taxas de rejeição de artigos nos periódicos nacionais (Serra, Fiates, & Ferreira, 2008) e internacionais de impacto (Bornmann, Weymuth, & Daniel, 2009), podendo superar 95% nos periódicos internacionais de maior reputação (Ferreira, 2013).

Este artigo examina e contrasta os estratos de periódicos quanto a falhas e a lacunas que levem à rejeição dos artigos submetidos aos periódicos de cada um dos estratos, na área CAPES de Administração, Contabilidade e Turismo. Assim, a questão da pesquisa assentou em entender se há, e quais são, as diferenças notórias nas falhas que levam à rejeição dos artigos submetidos aos periódicos de diferentes estratos Qualis. Ou seja, examinamos a convicção comum de que os periódicos em estratos mais altos têm níveis de exigência superiores aos periódicos em estratos mais baixos. Metodologicamente, coletamos dados por meio de um questionário sobre os fatores que levam à rejeição junto a editores de periódicos da área de Administração. Em seguida, realizamos análises descritivas com uma amostra de 82 editores, de diversos estratos.

Os resultados apontam diferenças pontuais entre os periódicos de diferentes estratos, mas essas diferenças parecem ser insuficientes e não permitem concluir definitivamente sobre distinções significantes entre os periódicos quanto às falhas nos artigos que conduzem à rejeição. Ainda assim, emerge pontualmente maior rigor nos periódicos A2 e, em particular, em dimensões internacionalmente mais valorizadas como, por exemplo, a contribuição e a qualidade do desenvolvimento conceitual. As principais diferenças são observadas entre os periódicos de estratos mais baixos (B4, B5 e C) comparativamente a todos os restantes.

Este estudo tem três contribuições principais para a academia brasileira. Primeiro, contribui para que haja debate nesta na área de Administração sobre os fatores que levam à rejeição dos artigos submetidos a periódicos. Segundo, examinando as diferenças entre os estratos quanto à identificação de problemas e lacunas nos artigos submetidos, auxilia os pesquisadores – especialmente os mais jovens e os ainda estudantes – a assimilar os fatores que mais recorrentemente conduzem à rejeição dos artigos, assim compreendendo a complexidade da produção e da submissão de artigos. O resultado é a melhor preparação para produzir melhores artigos com maior probabilidade de serem aceitos. Isto é, há uma contribuição pertinente para a própria prática acadêmica, pois, munidos dessas informações, os pesquisadores com objetivo de publicar em determinados estratos podem adequar seus artigos, evitando os fatores que usualmente levariam à rejeição. Terceiro, contribui para debater o que realmente significam os rankings de periódicos (incluindo o Qualis), sendo útil para pesquisadores, editores de periódicos e agências reguladoras. Assim, este estudo contribui para salientar a necessidade de continuar a melhorar o sistema Qualis vigente, de modo que este realmente reflita diferenças qualitativas em vez de ser majoritariamente baseado em cumprir procedimentos. A contribuição deste estudo é, portanto, iminentemente direcionada à academia brasileira em Administração, e tem potencial impacto para o desenvolvimento dos periódicos nacionais ao examinar potenciais diferenças entre estratos quanto à avaliação dos artigos.

Este paper está organizado em quatro partes. Primeiramente, revemos a literatura fundamental, focando especialmente na classificação dos periódicos e nos critérios de avaliação dos artigos por editores e revisores de periódicos. Na segunda parte, descrevemos o método empregado no estudo, incluindo os procedimentos de coleta de dados, o instrumento e a amostra. Na terceira, expomos os resultados, contrastando os problemas e as lacunas identificadas que levam (diferenciadamente) à rejeição dos artigos em periódicos dos diferentes estratos Qualis. Por fim, apresentamos uma discussão sobre as diferenças entre os estratos dos periódicos e suas implicações para a produção científica em Administração. Também apontamos algumas limitações e sugestões para pesquisas futuras.

Revisão de Literatura

Classificações, ou rankings, dos periódicos

A reputação das IES tem um papel determinante na atração de estudantes e professores para ingressar em seus programas (Fogarty & Rhul, 1997), e talvez, mais especialmente, nos de stricto sensu. A construção da reputação acadêmica é, pelo menos em parte, dependente da produção científica realizada, que impacta na avaliação conferida pelas agências reguladoras (Keith & Babchuk, 1998); no Brasil, isso se dá com a CAPES (Maccari et al., 2014). A maior reputação atrai mais e melhores estudantes e pesquisadores, além de recursos financeiros. Forma-se, assim, um ciclo virtuoso entre reputação e produção científica. Avaliar a produção científica é, portanto, relevante para as IES, mas também para os potenciais estudantes e professores (Ferreira, 2015). Não surpreende, neste contexto, que alguns pesquisadores sejam pressionados por suas IES a publicar em periódicos de impacto (Miller et al., 2013), em especial, nos internacionais (Samkin, 2011). Para os programas doutorais, por exemplo, esta é uma via para uma vantagem reputacional, mas também de acesso a recursos financeiros, bolsas e projetos de fomento, em relação aos programas concorrentes.

Também a reputação dos pesquisadores é determinada, pelo menos em parte, por sua prolificidade científica (Frey, 2003). A reputação acadêmica pode abrir portas (Bedeian, 2003) para melhores cargos, coordenações de programas, integração em corpos editoriais de periódicos, coautorias (Rothman, Kirk, & Knapp, 2003), apoios à pesquisa e bolsas de produtividade (Picinin et al., 2013). Portanto, é importante para os pesquisadores – talvez mais especialmente para os ligados a programas de pós-graduação stricto sensu – publicar em periódicos de elevada estatura. É diante da necessidade de publicar – e publicar mais e melhor que seus pares – que importa aos pesquisadores observarem e entenderem os critérios envolvidos na estratificação dos periódicos e quais as exigências destes mesmos periódicos para publicação de artigos científicos, seja no sistema Qualis brasileiro, seja em outros rankings internacionais.

Os periódicos são classificados por diversas instituições (Ferreira, 2015) e segundo diversos critérios. Designamos, comumente, essas classificações por rankings que evidenciam uma hierarquia de qualidade. No topo dessa hierarquia, na área de Administração, estão os periódicos internacionais multidisciplinares de prestígio – por exemplo, o Academy of Management Journal, Acad. of Management Review, Organization Science, Journal of Management, entre outros; logo abaixo, as boas edições de áreas específicas – como o Strategic Management Journal ou o Journal of International Business Studies; e, na base, uma grande quantidade de periódicos diversificados, regionais, específicos e em desenvolvimento (Bornmann, 2010).

No contexto brasileiro, a CAPES (Comissão de Aperfeiçoamento de Pessoal de Nível Superior) desenvolveu o Qualis, que classifica os periódicos em oito estratos – A1, A2, B1, B2, B3, B4, B5 e C – por meio de um conjunto de critérios (Tabela 1). Cada estrato tem critérios específicos a serem preenchidos, como evidencia a Tabela 1 (Mesquita et al., 2013). Para a estratificação dos periódicos, as comissões de área publicam um documento junto à Capes (2013), o qual especifica a utilização de critérios como: fator de impacto – baseado no número de citações do periódico, sendo este o fator mais importante para os estratos mais altos, tempo de atividade, indexação em bases de dados, editora, critérios de aprovação, ter ISSN, periodicidade, normas de submissão e disponibilizar explicitamente diversas informações (Kimura, 2010; Marques, 2009). Os estratos são ajustados periodicamente (Tuleski & Barroco, 2010) e os periódicos, reavaliados (CAPES, 2014).

Tabela 1
Critérios para Estratos dos Periódicos

Estrato	Critérios
A1	. Índice H da Base Scopus (H-Scopus) > 20 ou fator de impacto no Journal of Citation Reports (JCR)> 1,0, o que for mais favorável ao periódico.
	. O índice H expressa o número de artigos (H) de um periódico que receberam H ou mais citações nos artigos de uma base definida de periódicos e, no caso aqui, escolhida a base Scopus.
	. O índice tenta quantificar o impacto científico do periódico.
	. O fator de impacto de um periódico divulgado pelo JCR é baseado em dois elementos: o numerador, que é o número de citações no ano corrente a quaisquer itens publicados em um periódico nos últimos n anos; e o denominador, que é o número de artigos publicados nos mesmos n anos.
	. O fator de impacto publicado pelo JCR considera as bases da ISI Web of Science da Thomson Scientific Reuters para o cálculo.
A2	. 4 < H-Scopus ≤ 20 ou 0,2 < JCR ≤ 1,0 o que for mais favorável ao periódico.
B1	Atender aos critérios para se enquadrar no estrato B2 e:
	. Ter mais de 5 anos.
	. 0 < H-Scopus ≤ 4 ou 0 ≤ JCR ≤ 0,2, o que for mais favorável ao periódico. ou
	. Estar na Scielo ou Redalyc. ou
	. Ser periódico de uma das seguintes Editoras: Sage, Elsevier, Emerald, Springer, Inderscience, Pergamo, Wiley ou Routledge.
B2	Atender aos critérios para se enquadrar no estrato B3 e:
	. Informar sobre os trâmites de aprovação.
	. Apresentar a legenda bibliográfica da revista em cada artigo.
	. Ter conselho diversificado.
	. Editor chefe não é autor.
	. Informação sobre processo de avaliação.
	. Ter mais de três anos.
	. Ter pelo menos 1 indexador (SCOPUS, EBSCO, DOAJ, GALE, CLASE, HAPI, ICAP, IBSS).
B3	. Atender aos critérios para se enquadrar no estrato B4 e atender a 6 dos critérios a seguir:
	. Ter missão/foco;
	. Informar nome e afiliação do editor;
	. Informar nome e afiliação dos membros do comitê editorial;
	. Divulgar anualmente a nominata dos revisores;
	. Publicar pelo menos duas edições do periódico por ano;
	. Informar dados completos dos artigos;
	. Apresentar endereço de pelo menos um dos autores.
B4	. Atender aos critérios para se enquadrar no estrato B5 e apresentar:
	. Revisão por pares.
	. Edições atualizadas.
	. Normas de submissão.
B5	. Ter ISSN.
	. Ter periodicidade definida.
C	Periódicos que não atendem aos critérios para ser B5.

• Nota. Fonte: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2013). Documento de área 2013. Recuperado de http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Administra%C3%A7%C3%A3o_doc_area_e_comiss%C3%A3o_16out.pdf

Internacionalmente, o fator de impacto (dado pelo Journal Citation Report, ou JCR) é a métrica talvez mais frequentemente usada para sinalizar a qualidade dos periódicos (Harzing & Wal, 2009; Selgen, 1997). Introduzido por Garfield em 1955, o, o fator de impacto dos periódicos é calculado com base no número de citações aos artigos publicados e pelo número de artigos publicados (Garfield, 2006) nos periódicos. Garfield (2006) defendeu a utilização do fator de impacto como a melhor opção para avaliar a reputação, pois a alternativa seria fazer a leitura de todos os artigos por times de juízes, um processo de avaliação que estaria potencialmente enviesado pelas opiniões pessoais e filiações destes juízes. Importa entender, no entanto, que mesmo com essa prática estabelecida – usar o fator de impacto como principal indicador da qualidade dos periódicos científicos – não é livre de críticas. Entre as principais delas, feitas ao uso do fator de impacto, estão a falta de representatividade da maioria dos artigos publicados, pois tal maioria deles nunca é citada, sendo que cerca de 75% das citações refere-se a apenas 15% dos artigos (Lewin, 2014). Ou seja, extrapolar do periódico para o artigo em concreto não deveria ser imediato (Selgen, 1997). Assim, alguns autores defendem uma avaliação mais qualitativa dos periódicos e dos artigos, com base em sua contribuição efetiva para a ciência (Tuleski & Barroco, 2010). Outra crítica está relacionada ao idioma, porque a maioria dos periódicos internacionais com maior fator de impacto só publica na língua inglesa, dificultando o acesso e a publicação de não nativos nem conhecedores deste idioma (Selgen, 1997).

Internacionalmente as práticas são diversas e muitas instituições seguem as suas próprias listas (ou rankings), enquanto outras utilizam sistemas nacionais. Ann-Will Harzing (2015) classifica os periódicos da área de Administração, na sua Journal Quality List utilizando 17 rankings de outras fontes. Por exemplo, uma das fontes é a lista utilizada pela British Association of Business Schools (ABS). Essa lista, originada em 2004, juntando contribuições dos acadêmicos britânicos, tem sido atualizada periodicamente e atualmente classifica os periódicos em cinco categorias: 4* a world elite journal; 4 a top journal; 3 a highly regarded journal; 2 a well regarded jornal in its field; e 1 a recognized journal (mais informações em http://www.bizschooljournals.com/). Nessa classificação, os periódicos que não são da Administração apenas são incluídos se forem relevantes para a área. No entanto, várias outras listas de periódicos e critérios de ranqueamento existem e são descritas por Harzing (2015).

A avaliação dos manuscritos submetidos a periódicos

O processo editorial, ou seja, desde a seleção do periódico à publicação do artigo (Ferreira, 2013), pode ser algo frustrante, porque é pontuado por alta probabilidade de rejeição (Ferreira, Canela, & Pinto, 2014). Conseguir um artigo publicável é uma tarefa laboriosa (Shidham, Pitman, & Demay, 2012), que demanda tempo e persistência. Genericamente, os artigos submetidos a periódicos passam por um processo editorial que tem dois grupos de avaliadores: o editor, ou editor associado, e os revisores (Clark, Floyd, & Wright, 2006; Ferreira et al., 2014). O editor faz uma avaliação inicial – ou desk review – e intervirá após cada rodada de revisão dos autores e dos revisores. Ou seja, o processo editorial é baseado na avaliação pelos pares – que usualmente designamos por gatekeepers do conhecimento, usualmente conduzido em double-blind review, que visa assegurar a qualidade dos artigos publicados (Pavan & Stumpf, 2000). Os principais gatekeepers do conhecimento são os revisores, especialistas convidados a fazer a sua avaliação, que têm por missão avaliar os méritos, qualidades, falhas e lacunas dos artigos, sua execução, contribuição e implicações (Bedeian, 2003; Clark et al., 2006). O sistema de avaliação double-blind – para refletir que nem os autores conhecem a identidade dos revisores nem os revisores conhecem a dos autores que submetem os artigos – visa garantir idoneidade no processo (Lazaroiu, 2009; Miller et al., 2013; Moos & Hawkins, 2009).

As avaliações dos gatekeepers incidem sobre todas as componentes (ou seções) dos artigos. Ainda assim, Ferreira, Canela e Pinto (2014) apontaram que alguns dos fatores mais críticos nos artigos incluem: a questão de pesquisa claramente exposta, a explicitação da contribuição proposta, o rigor e a replicabilidade da metodologia, a apresentação explícita dos resultados e sua interpretação, em especial integrados com a teoria. Esses são fatores relevantes para conseguir a publicação, mas há múltiplos fatores que contribuem para que o artigo seja rejeitado. A probabilidade de rejeição aumenta quando se busca publicar em periódicos com maior impacto (Samkin, 2011) ou melhor classificados nos rankings existentes. Então, o foco na rejeição de artigos é relevante (Hojat, Gonnella, & Caelleigh, 2003), porque os níveis de rejeição são efetivamente altos nos principais periódicos (Bornmann et al., 2009) e, mesmo no Brasil, há evidência de altos índices de rejeição pelo menos nos estratos mais altos (Diniz, 2013). Embora uma avaliação objetiva não seja possível, porque a maioria dos periódicos não disponibiliza dados sobre as submissões, Diniz (2013), editor da Revista de Administração de Empresas (RAE), apontou que mais da metade dos artigos é rejeitada na fase inicial de desk review.

O que conduz os artigos a serem rejeitados para publicação? Não há regras ou respostas universais, mas é possível consultar a literatura para identificar alguns pontos consensuais no que mais usualmente falha nos artigos que pode levar à rejeição para publicação. Por exemplo, a rejeição direta pelo editor parece associada à falta de adequação ao escopo do periódico (Clark et al., 2006), ao design inadequado do estudo (Bornmann et al., 2009), ou a resultados que podem não estar apoiados pelos dados apresentados, que podem ser considerados pouco originais, ou, ainda, que podem ser resultados de processos que apresentaram problemas metodológicos (Byrne, 2000). Vários autores identificaram que a falta de contribuição para a teoria é uma das lacunas fundamentais que presidem a rejeição por editores e avaliadores (Byrne, 2000; Radford, Smillie, & Wilson, 1999). Bornmann, Weymuth e Daniel (2009) distinguiram nove fatores mais relevantes na aceitação (ou rejeição) de um artigo: contribuição teórica, redação e apresentação do artigo, design e conceito de pesquisa, método, discussão dos resultados, qualidade das referências, linha teórica utilizada, reputação e filiação institucional do autor e, por fim, alinhamento com os preceitos éticos. Já Benos, Kirk e Hall (2003) resumiram os principais itens que um revisor criterioso analisa em: qualidade metodológica, qualidade da apresentação (escrita, das tabelas e das imagens), princípios éticos, e contribuição trazida pelo artigo. Falhas nesses itens provavelmente conduzirão à rejeição. Provenzale e Stanley (2006) sugeriram uma abordagem sistemática, buscando pontos específicos nos aspectos: introdução, revisão teórica, desenvolvimento conceitual, método, resultados e discussão. Todos esses artigos, no entanto, realçam a importância da contribuição teórica, da redação concisa e de qualidade, da replicabilidade e do embasamento teórico na discussão dos resultados.

Em conclusão, é efetivamente relevante entender quais as falhas e as lacunas nos artigos que, pelo menos mais usualmente, tornam-se fatores que levam editores e revisores a rejeitar a publicação. Se há, como vimos na seção anterior, diferenças na percepção da qualidade relativa dos periódicos (mesmo que institucionalmente induzida pela classificação em diferentes estratos por agências como a CAPES), é esperado que existam também diferenças nos critérios de avaliação dos artigos por esses periódicos em diferentes estratos. Ou seja, é relevante entender eventuais diferenças nos padrões e nos critérios de rejeição de artigos entre os periódicos.

Método

O estudo empírico tratou sobre as falhas e as lacunas que levam à rejeição de artigos submetidos aos periódicos de diferentes estratos em Administração, comparando eventuais diferenças entre estes. O método utilizado foi quantitativo, com dados primários, porém de caráter descritivo. Para a coleta dos dados, foi utilizado um questionário de autopreenchimento enviado aos editores dos periódicos brasileiros de Administração classificados no sistema Qualis da CAPES.

Instrumento de coleta de dados

O instrumento de coleta de dados continha itens que detalhavam diversos problemas que levavam artigos à rejeição. A construção do instrumento foi baseada em Byrne (2000), sobre os fatores que usualmente conduzem à rejeição dos artigos submetidos aos periódicos de medicina. O instrumento foi traduzido para a língua portuguesa utilizando a sequência de tradução e retradução (translation and back translation), adaptado à área de Administração, dado que o instrumento original foi usado nas ciências da saúde, acomodado à realidade brasileira. A adaptação do instrumento teve como principal objetivo a abordagem detalhada de uma vasta gama de problemas que têm o potencial de levar os artigos à rejeição. O instrumento foi apresentado e debatido em seminário de pesquisa e, posteriormente, sujeito a um pré-teste com três editores. Em ambos os momentos, foram feitos ajustes de redação, eliminaram-se itens sem correspondência no Brasil e adicionaram-se outros (por exemplo, adicionando ao instrumento questões específicas para estudos qualitativos e não apenas quantitativos, o que parece pertinente dada a forte presença de pesquisa qualitativa em Administração no Brasil).

A versão final do instrumento ficou composta por 72 itens, divididos em sete seções. A primeira seção foi designada para os dados do editor, e as seguintes, referentes aos problemas e/ou lacunas, apresentava cada uma das partes dos artigos submetidos – introdução, revisão de literatura, desenvolvimento conceitual e hipóteses/proposições, metodologia, resultados, discussão e conclusão. O questionário solicitou aos respondentes que expressassem a frequência com que cada problema identificado no questionário leva à rejeição, utilizando-se uma escala tipo Likert de 5 pontos, ancorada em 1 – Nunca e 5 – Sempre. Foi garantido aos respondentes que as respostas seriam tratadas estatisticamente e de forma agregada, mantendo-se anônimas.

Amostra

Foram enviados 233 questionários por e-mail a editores de periódicos da área de Administração, ciências contábeis e turismo, coletados do WebQualis. Dado o foco específico em Administração, solicitou-se a dois experts – professores doutores de programas stricto sensu e editores de periódicos da área – que examinassem a lista completa de periódicos da área e selecionassem os periódicos que, em sua opinião, eram mais voltados para Administração. Eventuais diferenças foram examinadas por um terceiro especialista, coautor deste artigo, tendo chegado à lista final de 233 periódicos. Os e-mails de contato dos editores foram obtidos nas páginas de internet dos periódicos ou, quando indisponíveis, pesquisados em diretórios e páginas de internet das IES. O questionário foi enviado por e-mail, com sucessivas rodadas de acompanhamento para obtenção das respostas. A taxa de resposta final foi de 41%, totalizando 82 questionários válidos. Os dados foram analisados por estrato Qualis dos periódicos. A distribuição da amostra com base no estrato Qualis é apresentada na Tabela 2. O nosso escopo se delimita aos periódicos nacionais e, como não há nacionais no estrato A1, essa categoria não foi incluída na tabela.

Tabela 2
Distribuição da Amostra

	A2	B1	B2	B3	B4	B5	C
Nº. de periódicos na amostra	6	11	22	31	7	4	1
Nº. de periódicos da área classificados pela CAPES (total 233)	10	22	27	75	43	3	18

• Nota. A área consultada foi Administração, Ciências Contábeis e Turismo. Fonte: Elaborado pelos autores com dados da pesquisa e do sistema Plataforma Sucupira. (2015). WebQualis. Recuperado de https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf.

A amostra coletada é representativa, ainda que com diferenças entre estratos, do universo de periódicos nacionais. A Tabela 1 permite comparar a amostra com o número de periódicos no WebQualis para cada estrato – A2 (60%), B1 (50%), B2 (81,5%) e B3 (41,3%) – sendo que uma fração considerável dos editores participou no estudo. Vale salientar que, nos estratos mais baixos (B4, B5 e C), há, comparativamente, menor representação. Uma explicação para menos respostas por editores de periódicos em estratos mais baixos é o fato de muitos dados de contato estarem desatualizados nas páginas de internet desses periódicos, e serem eles menos organizados e/ou profissionalizados.

O menor número de respostas nos periódicos de estratos inferiores requer uma interpretação. Como se percebe da Tabela 1, sobre os critérios do sistema Qualis, os requisitos para um periódico entrar no estrato B3 são majoritariamente formalidades de organização desses periódicos. Os de estratos menores podem refletir iniciativas que não recebem o apoio administrativo adequado da instituição onde são mantidos, ou não recebem a atenção adequada de seus próprios corpos editoriais. Como consequência, periódicos que, por quaisquer desses motivos, não atingem as formalidades de organização necessárias para atingirem o estrato B3 também podem não ter o interesse, a organização, ou os meios necessários (como, por exemplo, um Editor-chefe dedicado) para responderem ao questionário. Outras questões de organização, de falhas no processo editorial, podem, também, explicar, pelo menos em parte, dificuldade de efetivamente responder o questionário apontando fatos.

Assim, a amostra tem maior representação de editores dos estratos A2, B2 e B3. É possível que os editores de periódicos de estratos mais altos tenham maior interesse nesta pesquisa por se debruçarem sobre critérios e qualidades dos periódicos. Como tivemos menor participação de editores em estratos mais baixos, agrupamos os estratos B4, B5 e C na mesma categoria para fim de análises comparativas.

Resultados

Avaliação geral

Primeiro avaliou-se a globalidade dos artigos para identificar as seções com maiores deficiências nas submissões. Essa avaliação geral revelou que o título, o resumo e a introdução são as seções que tendem a apresentar menos problemas nos artigos submetidos aos periódicos em todos os estratos (Tabela 3). Em contraste, nos periódicos de estratos mais altos (A2, B1 e B2), as seções de desenvolvimento conceitual, método e discussão conduzem mais frequentemente à rejeição, enquanto nos estratos mais baixos os problemas na seção de método têm maior saliência. O método foi a seção apontada por Byrne (2000) como a que mais frequentemente leva à rejeição direta nos periódicos. A qualidade na metodologia é, assim, vista como crucial na avaliação dos artigos, e é possível que as lacunas se devam a que muitos trabalhos de pesquisa ainda utilizam metodologias qualitativas (em contraste com as publicações internacionais, que são fortemente quantitativas), conforme Phelan, Ferreira e Salvador (2002), sem a fundamentação e a explicação adequadas dos procedimentos.

Tabela 3
Seções do Artigo com Maior Frequência de Problemas

Seções do artigo	A2	B1	B2	B3	B4, B5, C	Média
. Título	1,83	1,58	2,05	2,00	1,82	1,86
. Resumo	2,00	2,42	2,52	2,48	2,42	2,37
. Introdução	2,67	2,83	2,76	2,87	2,83	2,79
. Revisão da literatura	3,83	3,33	3,58	3,67	3,27	3,54
. Desenvolvimento conceitual e hipóteses/proposições	4,17	3,75	3,68	3,87	3,55	3,80
. Método	3,83	3,75	4,05	3,77	3,91	3,86
. Resultados	3,80	3,67	3,82	3,68	3,45	3,68
. Discussão	4,00	3,83	3,82	3,90	3,18	3,75
. Conclusão	3,50	3,42	3,50	3,42	2,82	3,33
Média (por estrato)	3,29	3,18	3,31	3,30	3,03

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

É interessante notar a preocupação com a seção de desenvolvimento conceitual nos periódicos mais reputados, que está em linha com a necessidade de os artigos contribuírem para o desenvolvimento da teoria (Clark et al., 2006), possuindo abordagens que gerem um desenvolvimento teórico inovador (Radford et al., 1999), por meio de um design do estudo bem planejado (Turcotte, Drolet, & Girard, 2004). Assim, é possível perceber algumas diferenças entre os periódicos no que se refere ao foco de seu crivo. As rejeições nos periódicos de estratos mais altos são mais frequentemente ligadas às seções que representam um avanço conceitual dos artigos, enquanto nos periódicos dos grupos B2 e B4, B5 e C emergem mais relacionadas com o método.

Os dados da Tabela 4 – analisando alguns componentes essenciais do trabalho científico – complementam a análise anterior. Por exemplo, nos periódicos dos estratos mais altos (A2 e B1), a ausência de contribuição científica surge como crucial; lacuna substancialmente menos notada nos periódicos dos estratos mais baixos. A contribuição científica tem sido apontada como elemento distintivo para a qualidade dos artigos nos estudos sobre avaliação e rejeição de artigos (Clark et al., 2006; Radford et al., 1999), sendo um dos fatores que os revisores precisam identificar em um bom artigo (Benos, Kirk, & Hall, 2003). Em contraponto, nos estratos B4, B5 e C, as lacunas são mais marcadas no nível da revisão de literatura. As deficiências na redação e na organização do artigo são observadas nos estratos mais baixos. Destaca-se, no estrato A2, uma preocupação por melhor utilização de hipóteses e argumentações; preocupação que não se sobressai nos outros estratos.

Tabela 4
Problemas/Lacunas Gerais

	A2	B1	B2	B3	B4, B5, C	Média
. Tópico pouco importante ou irrelevante	3,67	3,58	3,36	3,32	2,91	3,37
. Conceito (design) do estudo inadequado	3,60	3,83	3,59	3,23	2,91	3,43
. Questão de pesquisa e problematização pouco clara ou inexistente	3,50	3,33	3,55	3,58	3,55	3,50
. Contribuição insuficiente ou pouco clara	4,33	4,00	4,09	3,55	3,36	3,87
. Problemas na qualidade da revisão da literatura	4,00	3,58	3,55	3,50	3,70	3,67
. Hipóteses e argumentações pobres	4,17	3,67	3,64	3,55	3,45	3,69
. Deficiências no método	3,50	3,83	4,05	3,45	3,64	3,69
. Apresentação confusa dos resultados	3,83	3,75	3,50	3,48	3,36	3,59
. Interpretação insatisfatória dos resultados	3,33	3,75	3,41	3,53	3,36	3,48
. Organização (ou estrutura) inadequada do artigo	3,17	3,00	3,14	3,03	2,82	3,03
. Problemas de redação	2,83	3,17	2,95	3,06	3,42	3,09
Média (por estrato)	3,63	3,59	3,53	3,39	3,32	3,49

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

Seções do manuscrito

As análises seguintes incidem sobre cada uma das seções tradicionais do artigo. Começa-se com a introdução. É interessante observar as médias por estrato e notar a tendência decrescente (A2 3,44 a B4, B5 e C 2,93 – ver Tabela 5). Ou seja, os periódicos no estrato A2 têm uma preocupação maior com a grande maioria dos itens na introdução (média=3,44), enquanto nos estratos mais baixos se salientam menos problemas na introdução (média do grupo B4-C = 2,93). Esta não parece ser evidência de que os artigos submetidos aos estratos mais baixos tenham a introdução melhor formulada, mas apenas que essa seção é vista como contendo menos lacunas. Previsivelmente, essa divergência reflete uma avaliação menos exigente. A apresentação clara da questão de pesquisa é essencial na maioria dos estratos. No geral, os estratos B2 e B3 se assemelham bastante quanto aos fatores mais importantes, com exceção à contribuição, que não recebeu escores altos pelo estrato mais baixo.

Tabela 5
Problemas/Lacunas na Introdução

	A2	B1	B2	B3	B4, B5, C	Média
. Não apresenta adequadamente o enquadramento teórico ou conceitual.	3,67	3,25	3,05	3,03	3,00	3,20
. Não apresenta claramente a questão de pesquisa.	4,00	3,67	3,36	3,26	3,55	3,57
. Não há ineditismo.	3,50	3,33	3,50	3,27	2,73	3,27
. Há um desajustamento entre o título ou a questão de pesquisa e o que efetivamente o artigo faz.	2,83	3,08	2,82	3,16	2,82	2,94
. Não dá detalhes suficientes sobre os procedimentos metodológicos.	3,50	3,25	3,41	2,94	3,36	3,29
. Não indica qual a contribuição.	3,50	3,08	3,52	3,29	2,64	3,21
. Raciocínio confuso, contraditório.	3,50	3,58	3,14	3,10	3,00	3,26
. Redação deficiente, pobre, confusa.	3,17	3,33	3,27	3,13	3,08	3,20
. Desinteressante .	3,33	2,58	2,55	2,45	2,18	2,62
Média (por estrato)	3,44	3,24	3,18	3,07	2,93	3,17

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

A avaliação do referencial teórico revela algumas diferenças segundo os estratos. A ausência de referências fundamentais e de uma linha teórica definida são mais notadas no estrato A2, enquanto a falta de clareza no texto aparece como o principal problema do estrato B1 (Tabela 6). A (não) inclusão de literatura estrangeira, de referências atuais e alguma desconexão na redação do embasamento são lacunas mais sentidas nos periódicos de estratos mais baixos.

Tabela 6
Problemas/Lacunas no Referencial Teórico

	A2	B1	B2	B3	B4, B5, C	Média
. Texto pouco claro	3,17	3,42	3,18	3,06	3,27	3,22
. Embasamento desconexo ou mal escrito	3,00	3,58	3,45	3,39	3,09	3,30
. Não segue uma linha teórica definida.	3,67	3,08	3,45	3,29	2,55	3,21
. Referências muito novas (não leva em consideração o passado da teoria).	2,50	2,50	2,45	2,45	2,45	2,47
. Referências muito antigas e sem considerar artigos recentes.	3,33	3,50	3,55	3,10	3,18	3,33
. Referências fundamentais são ignoradas.	3,67	3,17	3,64	3,32	3,00	3,36
. Não revê literatura nacional.	3,00	2,83	2,90	2,42	2,70	2,77
. Não revê literatura estrangeira.	3,00	3,33	3,14	3,42	3,09	3,20
Média (por estrato)	3,17	3,18	3,22	3,06	2,92	3,11

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

Então, os resultados evidenciam que as falhas identificadas na seção de referencial teórico são menos relevantes nos periódicos de estratos mais baixos. A necessidade de uma linha teórica definida apenas se destaca no estrato A2, não obtendo escores que se destaquem nos outros, o que pode refletir a preocupação com o desenvolvimento teórico, que é crucial para construir uma contribuição teórica.

Na análise dos problemas na concepção e design da pesquisa (Tabela 7), nota-se que essas lacunas são menos percebidas nos estratos mais baixos (B4-C), tendo escores menores em todos os itens. Há uma maior preocupação com as hipóteses nos estratos mais altos, enquanto os outros itens receberam avaliações muito próximas nos diferentes estratos, não se notando diferenças substanciais. Estereotipicamente, os estratos mais baixos poderão receber mais artigos de pesquisadores iniciantes ou menos experientes, como estudantes de mestrado e doutorado (por exemplo, artigos resultantes de trabalhos para disciplinas nos programas de pós-graduação), revelando menor domínio sobre como realizar uma pesquisa.

Tabela 7
Problemas/Lacunas na Concepção e Design da Pesquisa

	A2	B1	B2	B3	B4, B5, C	Média
. Problemas na concepção da pesquisa (research design)	3,33	3,42	3,29	3,27	2,91	3,24
. Não há novidades na abordagem conceitual.	3,33	3,33	3,41	3,52	2,91	3,30
. A argumentação das hipóteses/proposições não é clara ou não sustenta as hipóteses.	3,33	3,42	3,36	3,39	3,36	3,37
. Hipóteses/proposições mal formuladas (mal escritas ou sem relações entre variáveis)	3,50	3,42	3,41	3,35	3,18	3,37
Média (por estrato)	3,38	3,40	3,37	3,38	3,09	3,32

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

Os artigos podem ser sustentados em métodos quantitativos ou qualitativos, pelo que diferenciamos na análise para a seção de metodologia. Nos artigos quantitativos, os principais problemas estão na amostra (M=3,13) e insuficiente explicação dos dados (M=3,27 – ver Tabela 8). No entanto, há algumas diferenças entre estratos e, por exemplo, nos periódicos B1 e B4-C, as insuficiências metodológicas parecem menos salientes. É relevante, ainda, notar que, nos A2, a insuficiência na explicação das variáveis é notada, enquanto nos B4-C, refere-se à técnica estatística de tratamento dos dados. Ainda assim, no conjunto, as médias para os diferentes estratos não revelam um padrão claro que pudesse inferir maior número de rejeições ajustadas à qualidade do periódico (ver médias).

Tabela 8
Problemas/Lacunas na Metodologia nos Estudos Quantitativos

	A2	B1	B2	B3	B4, B5, C	Média
. Informação insuficiente sobre os dados	3,33	3,08	3,59	3,52	2,83	3,27
. Amostra enviesada com baixa representatividade da população estudada	3,33	2,75	3,82	3,39	3,18	3,29
. Dimensão inadequada da amostra	3,00	2,92	3,55	3,35	3,00	3,16
. Problemas de controle de qualidade dos dados	3,33	3,00	3,55	3,16	3,00	3,21
. As variáveis não são suficientemente explicadas.	3,50	2,83	3,59	3,23	3,00	3,23
. Não coletou variáveis que pudessem influenciar a interpretação dos resultados.	3,00	2,67	3,45	3,00	3,00	3,02
. Não considerou variáveis de controle que influenciam as relações estudadas.	3,33	2,75	3,36	3,29	2,91	3,13
. Forma de tratamento dos dados que não é a mais adequada.	3,00	3,25	3,36	3,35	3,18	3,23
Média (por estrato)	3,23	2,91	3,53	3,29	3,01	3,19

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

Nos artigos usando métodos qualitativos (Tabela 9), por seu lado, há a tendência para que, quanto mais alto o estrato, mais sejam identificados problemas e lacunas nessa seção. No entanto, na maioria dos estratos, as maiores falhas estão na insuficiente explicação dos procedimentos seguidos e na justificação para a escolha do caso. Importará analisar se artigos usando métodos qualitativos são mais publicados em periódicos de estratos mais baixos ou se há preferências metodológicas entre estratos para melhor analisar esses resultados.

Tabela 9
Problemas/Lacunas na Metodologia nos Estudos Qualitativos

	A2	B1	B2	B3	B4, B5, C	Média
. Roteiro de pesquisa inadequado	3,40	2,67	3,35	3,00	2,91	3,07
. Insuficiente apresentação dos procedimentos metodológicos utilizados	3,83	3,50	3,70	3,23	3,50	3,55
. Não evidencia como o caso ou os dados foram escolhidos.	3,67	3,25	3,35	3,10	3,27	3,33
. Amostra enviesada (ex. entrevistou as pessoas erradas).	3,00	2,92	3,15	2,87	2,27	2,84
. Não coletou informações que poderiam influenciar a interpretação dos resultados.	3,50	2,92	3,10	3,23	3,09	3,17
. Problemas de controle de qualidade das fontes	2,83	3,08	3,20	3,10	2,91	3,02
. Triangulação ruim ou inexistente dos dados	3,50	3,17	3,55	3,29	2,82	3,27
Média (por estrato)	3,39	3,07	3,34	3,12	2,97	3,18

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

A análise da seção de resultados (Tabela 10) revela que os estratos mais baixos apresentam a maioria dos itens como fatores que frequentemente levam à rejeição, com maior destaque para o tratamento superficial, ou inadequado, dos dados. É possível estabelecer a hipótese que, devido aos periódicos nos estratos mais baixos receberem um número maior de artigos de estudantes, não haja um aprofundamento do tratamento dos dados e que estes contenham erros devido à falta de experiência dos jovens pesquisadores. O estrato B1 recebeu os menores escores, o que pode estar também relacionado à mesma causa, o que ajuda a evitar problemas estatísticos e de aprofundamento nos resultados. Porém, o estrato mais alto obteve a maior média das respostas, o que mostra maior rigor do escrutínio nesses periódicos. Por fim, os periódicos no estrato B1 têm mais semelhanças com o estrato A2, o que pode sinalizar a tentativa de aumentar sua relevância.

Tabela 10
Problemas/Lacunas nos Resultados

	A2	B1	B2	B3	B4, B5, C	Média
. Técnica estatística inadequada face aos dados	3,40	3,17	3,47	3,39	3,88	3,46
. Tratamento superficial ou inadequado dos dados	3,83	3,73	3,55	3,48	4,11	3,74
. Não inclui outputs essenciais (por exemplo, falta tabela de correlações).	3,50	3,00	3,32	3,50	3,00	3,26
. Apresentação pouco clara dos resultados	3,60	3,36	3,71	3,64	3,80	3,62
. O artigo tem hipóteses, mas não mostra os resultados dos testes estatísticos.	3,17	3,40	3,31	3,32	3,50	3,34
Média (por estrato)	3,50	3,33	3,47	3,47	3,66	3,49

• Nota. Sombreados apenas os valores mais altos em cada estrato. Fonte: Dados da pesquisa.

Por fim, escrutinamos, juntamente, as seções de discussão e conclusão. A Tabela 11 expõe os dados. Novamente, não emerge um padrão linear nas respostas entre estratos. Observa-se que as deficiências na ligação dos resultados com a teoria, a ausência de implicações e de explicação clara de qual(is) contribuição(ões) do artigo está(ão) entre os principais crivos nos periódicos, sendo uma preocupação comum a todos os estratos. Ainda assim, deficiências na contribuição do artigo têm maior proeminência no estrato A2. De modo essencial, as variações são relativamente pequenas entre os estratos dos periódicos.

Tabela 11
Problemas/Lacunas na Discussão e na Conclusão

	A2	B1	B2	B3	B4, B5, C	Média
. Apresenta os resultados na discussão.	3,50	2,58	3,09	3,10	3,27	3,11
. Traz pouca ou não traz nenhuma implicação para a teoria.	3,83	3,33	3,64	3,65	3,27	3,54
. Não conclui efetivamente.	3,50	3,00	3,64	3,52	3,27	3,39
. Não esclarece qual a contribuição do artigo.	3,67	3,42	3,64	3,55	3,27	3,51
. Não conversa com o referencial teórico.	3,83	3,67	3,86	3,61	3,67	3,73
. Apresenta demasiado viés na interpretação dos resultados.	3,33	2,83	3,36	2,87	2,82	3,04
. Não apresenta limitações da pesquisa.	3,33	3,08	3,27	3,00	3,45	3,23
. O trabalho não apresenta sugestões para pesquisa futura.	3,17	2,83	3,32	3,06	3,27	3,13
Média (por estrato)	3,50	3,00	3,64	3,52	3,27	3,39

• Nota. Fonte: Dados da pesquisa.

Discussão

Pesquisadores, universidades e instituições de regulação e de fomento à pesquisa utilizam rankings de periódicos para sinalizar a qualidade dos artigos publicados. Os pesquisadores usam os rankings para decidir onde submeter os seus artigos, como também pelas implicações que a avaliação de qualidade destes têm sobre a carreira profissional (Miller et al., 2013). As universidades baseiam suas decisões de contratação e tenure na avaliação das publicações dos pesquisadores, para o que recorrem aos rankings (Bornmann et al., 2009). As agências reguladoras usam-nos para avaliar os pesquisadores e as instituições (Maccari et al., 2008). As agências de fomento, para aferir a produção dos pesquisadores e decidir, por exemplo, a concessão de bolsas e outros apoios financeiros à pesquisa. Em essência, tornou-se métrica comum avaliar a produção científica inferindo da classificação dos periódicos a qualidade dos artigos neles publicados.

A generalização dos rankings de periódicos é acompanhada pela suposição comumente partilhada de que os artigos publicados nos periódicos de estratos mais altos são melhores que os publicados em periódicos de estratos mais baixos. Assim, também os critérios de avaliação dos editores e dos revisores nos periódicos melhor ranqueados (em estratos mais altos) serão mais exigentes que nos periódicos pior ranqueados (em estratos mais baixos). Essa mesma racionalidade existe no Brasil, onde usamos o sistema Qualis, próprio, como indicador de qualidade dos periódicos, o qual os classifica em estratos que variam de A1 a C. No entanto, não há evidência de que tal suposição se verifique, porque não há, até a data desta pesquisa, tanto quanto em nosso conhecimento, uma avaliação qualitativa dos artigos publicados. Com a falta de implementação efetiva de alternativas aos sistemas quantitativos baseados em estratos e ranqueamentos, persiste a convicção de que os periódicos diferem em dimensões como a avaliação pelos editores e revisores: sem confirmação empírica.

Neste estudo, seguimos a proposta de analisar se há, e quais são, as diferenças entre periódicos de diversas qualidades quanto às falhas que resultam em rejeição dos artigos que lhes são submetidos. Essa questão de pesquisa é baseada na ideia, ou premissa, a qual parece ser amplamente partilhada, de que é razoável presumir que os critérios e as exigências serão mais altos nos periódicos de estratos mais altos que nos periódicos de estratos mais baixos. Para responder esse questionamento, realizamos um estudo quantitativo sustentado em dados coletados por questionário junto a editores de periódicos nacionais de Administração. Os resultados têm uma leitura complexa, e se, por um lado, permitem identificar algumas distinções entre periódicos, por outro, não permitem concluir inequivocamente sobre as diferenças nos aspetos que conduzem à rejeição dos artigos entre periódicos de diferentes estratos. Ainda assim, os resultados merecem discussão e interpretação à luz de potenciais limitações do estudo e das respostas obtidas, e da necessidade de iniciar um debate amplo sobre os critérios de avaliação.

O sistema Qualis, que ranqueia os periódicos numa escala que evolui do nível C (mais baixo) para o A1 (mais alto), encontra paralelo noutros sistemas nacionais, como o inglês ABS (classificação da Academy of Business Schools), que ranqueia os periódicos em níveis entre o 1 (o nível mais baixo) e o 4* (o nível mais alto). Essa racionalidade está também presente nos sistemas que usam métricas mais contínuas, como o fator de impacto, da ISI, ou o índice H, da Scopus. Em qualquer dos casos, o que se construiu foram sistemas de hierarquização dos periódicos e, por meio da avaliação destes em tais índices ou rankings, avalia-se a produção de pesquisadores e universidades. No Brasil e na área de Administração, é interessante notar que, na categoria máxima (estrato A1), não consta qualquer periódico nacional, situação distinta da encontrada em outras áreas do conhecimento, como a Economia. Nesta medida, na sequência deste estudo, em que observamos as percepções, inerentemente subjetivas, seria pertinente avaliar a percepção que os editores, os revisores e os autores têm da efetiva qualidade dos periódicos nos vários estratos, e examinar até que ponto estão ajustados aos estratos Qualis atuais.

O debate sobre os fatores que levam à rejeição, ou seja, as falhas e as lacunas dos artigos submetidos, pode integrar outros aspectos complementares. Por exemplo, notamos que a maioria dos periódicos não disponibiliza publicamente dados sobre as submissões, as rejeições e o corpo de revisores que efetivamente avaliaram os artigos. Essa informação pode ser pertinente como mecanismo de transparência que ajuda a abrir a caixa e a desmistificar o processo editorial. Neste âmbito, é inclusive pertinente questionar o sistema de avaliação de artigos que submete os autores a sucessivas rodadas de revisão e submissões repetidas sem propiciar a devida reflexão inicial. Examinar as rejeições é relevante não apenas por ser o resultado mais comum, mas, também, porque alguns pesquisadores podem ficar desencorajados e desistir de fazer pesquisa (Samkin, 2011), inclusive, pelo seu alto custo para a comunidade científica. Ou seja, há um amplo debate que merece aprofundamento no seio da comunidade.

Os nossos resultados são relevantes, mas devem ser vistos com cautela antes de se criticar o sistema vigente de classificação Qualis ou o sistema de avaliação pelos pares em si. Uma ponderação inicial deve incidir sobre os critérios Qualis expressos na Tabela 1, refletindo-se de forma crítica se esses critérios realmente sinalizam a qualidade dos periódicos. A esse respeito, é interessante notar que elementos de organização interna dos periódicos parecem ser predominantes até ao estrato B2. Outra ponderação adicional pode examinar as eventuais limitações desta pesquisa e o próprio processo de decisão dos pesquisadores para escolher os periódicos aos quais submeter os seus artigos. Por exemplo, pode haver dinâmicas de autosseleção em que os autores submetam os artigos com menor potencial para periódicos menos reputados, e artigos com maior potencial para os periódicos em estratos mais altos. Em todo caso, é relevante entender que, se não houver um aumento do número de revistas em estratos mais altos, o aprimoramento dos artigos em relação aos itens de rejeição indicados nesta pesquisa não necessariamente conduzirá à maior possibilidade de aprovação, dado o número de artigos razoavelmente fixo dos periódicos.

A análise dos resultados empíricos não é simples, mas há uma primeira evidência que importa salientar: não identificamos um padrão evidente, como seria esperado, que os periódicos em estratos mais altos teriam realmente padrões de exigência distintos dos em estratos mais baixos. Na maioria dos itens, as variações entre estratos parecem espúrias e não são consistentes a revelar maior exigência ou mais lacunas e problemas, nos artigos submetidos à avaliação. Os dados e as análises permitem identificar um conjunto de variações entre os estratos e, fundamentalmente, permitem observar que há inúmeras lacunas e problemas nos artigos submetidos. Altas taxas de rejeição, como reportadas por Diniz (2013) e Ferreira (2013), talvez não sejam, assim, surpreendentes. No entanto, num momento em que se debate a internacionalização da produção científica nacional, importa entender como aprimorar a formação de doutorado, mas também o papel que os periódicos podem ter nessas melhorias. Podemos destacar, por exemplo, a corroboração com estudos internacionais (Clark et al., 2006) e de outras disciplinas (Byrne, 2000; Radford et al., 1999) quanto à importância do desenvolvimento conceitual e da contribuição para a teoria como elementos fundamentais. Efetivamente, a literatura internacional (Garfield, 2006; Selgen, 1997) e a nacional (Kimura, 2010; Marques, 2009) apontam que o caminho para os periódicos que almejam uma boa colocação nos estratos e rankings é a relevância acadêmica, obtida por meio de artigos com alto impacto. Atualmente os periódicos nacionais em Administração ainda são classificados apenas no estrato máximo de A2 e, para ascender, poderão necessitar tomar medidas adicionais para garantir rigor, transparência e credibilidade internacional.

Dentro dessa perspectiva, este artigo tem três áreas de contribuição para a academia em Administração, pesquisadores, editores e agências reguladoras. Primeiro, a contribuição que se prende com a discussão sobre os fatores que levam à rejeição dos artigos nos periódicos. Há ampla literatura internacional sobre o tema de avaliação dos artigos, fatores e consequências da rejeição (ver, por exemplo, Benos et al., 2003; Bornmann et al., 2009; Byrne, 2000; Clark et al., 2006; Provenzale & Stanley, 2006; Radford et al., 1999; Samkin, 2011; Turcotte et al., 2004). No Brasil, esse debate tem sido mais escasso e talvez bastante limitado às questões e às críticas do produtivismo acadêmico, como abordado por Bertero, Alcadipani, Cabral, Faria e Rossoni (2013) e as exigências institucionais, como em Maccari, Almeida, Riccio e Alejandro (2014). Compreender porque os artigos são rejeitados contribui para os pesquisadores buscarem ultrapassar as lacunas nos seus artigos antes de submetê-los à avaliação em periódico. Também contribui para apontar áreas que podem ser melhoradas nos programas de stricto sensu, em especial nos de doutorado. Por outro lado, este estudo já apresenta uma contribuição para melhorar a qualidade das publicações, uma vez que apresenta, de forma sistematizada, um conjunto de itens que os pesquisadores devem atender antes de submeter os seus artigos (ver Tabelas 4 a 11). Esses itens, baseados no trabalho de Byrne (2000), podem ser vistos como uma check list de apoio que evidencia um leque de fatores críticos para uma boa submissão.

A segunda contribuição é a comparação entre os critérios que levam à rejeição nos periódicos de diferentes estratos. Os diferentes rankings, sejam os da Qualis, baseados em fatores de impacto, ou outros (recomenda-se analisar o Journal Quality List, de Ann-Will Harzing, 2015), têm subjacente que os artigos publicados em periódicos com melhor classificação nos rankings são também melhores. Essa racionalidade assenta-se na convicção de que há maior exigência no processo de revisão pelo editor e pelos pares. Assim, importa entender as diferenças que realmente existem. Para os pesquisadores, esse conhecimento é importante inclusive para entender quais os requisitos que os seus artigos precisam cumprir para publicação nos diferentes periódicos. Por exemplo, tal conhecimento pode sustentar uma decisão futura de para qual periódico submeter determinado artigo. É um saber também relevante para as agências reguladoras, para que estas possam conceber os critérios que os periódicos precisam cumprir para entrar num ou noutro estrato, entendendo as reais diferenças que existem entre os periódicos em consideração. De modo similar, para a avaliação dos currículos dos pesquisadores e para a atribuição de apoio financeiro a um projeto de fomento.

Já a terceira contribuição deste artigo é direcionada aos próprios editores de periódicos. Os editores podem contrastar a sua experiência com a de outros periódicos. É possível que os editores possam planejar formas de aumentar a qualidade dos artigos submetidos aos seus periódicos. Talvez uma via seja por meio da melhoria do processo de revisão pelos pares, tornando-o mais construtivo e ajudando realmente os autores a aprimorar os seus artigos. Por outro lado, os resultados permitem entender quais as lacunas identificadas nos periódicos de diferentes estratos, o que, em muitos casos, revelará uma exclamação de surpresa nos editores, ao ver que as lacunas não acontecem apenas em seus próprios periódicos.

Limitações e pesquisa futura

Este estudo tem algumas limitações que importa apontar. A principal limitação é a avaliação inerentemente subjetiva dos fatores – deficiências e lacunas – nos artigos submetidos que podem conduzir à rejeição. O questionário foi dirigido aos editores por estes terem uma perspectiva abrangente do conjunto dos pareceres recebidos dos revisores. Ou seja, recorrer aos editores, em vez de aos revisores individuais, tem a vantagem de conseguir captar uma percepção geral sobre o histórico de artigos submetidos aos periódicos. Essa decisão também traz a vantagem de se tratar de um periódico em específico, visto que os revisores geralmente atuam em uma série de periódicos, enquanto os editores são responsáveis por, geralmente, apenas um. Seria interessante, em pesquisa futura, acessar aos artigos submetidos e aos pareceres sobre os artigos como forma de triangulação das respostas. Esta pesquisa poderia considerar a análise de conteúdo dos pareceres e examinar as falhas enumeradas nestes.

Outra limitação tem relação com o método utilizado para o envio dos questionários. Há potenciais vieses que questionários enviados por e-mail podem apresentar. Apesar de seu custo menor, os questionários enviados pela internet podem ter menor índice de resposta, pelas distrações que o ritmo de navegação na internet apresenta e pela quantidade de e-mails inúteis recebidos (Sax, Gilmartin, & Bryant, 2003). Para conseguir maior taxa de respostas, o questionário foi enviado por e-mail, mas com sucessivas rodadas de acompanhamento para captar a participação dos editores dos periódicos. Adicionalmente, usando essa técnica de coleta de dados, os pesquisadores não têm controle sobre quem efetivamente responde o questionário, podendo, por exemplo, ser uma secretária, e não efetivamente o editor-chefe. Também, para controlar potenciais respostas duplicadas, incluímos o item: Em qual periódico você atua como editor?. No nosso estudo, não se verificaram casos de duplicidade de respostas.

Pesquisa futura pode enveredar por uma coleta de dados, visto que, neste estudo, delimitamos o escopo apenas aos periódicos nacionais, pelo que não é possível extrair comparações com a realidade internacional. Eventualmente, pode-se usar o mesmo instrumento, junto de editores de periódicos estrangeiros, classificados em diferentes estratos ou com diferentes fatores de impacto. Assim, será possível examinar como se comparam as falhas e as lacunas que motivam a rejeição nos periódicos nacionais com os de outros países. Esses dados podem ser extraordinariamente úteis para melhorar os programas doutorais, preparando os novos doutores para as exigências da publicação em periódicos de alto impacto. É, ainda, possível que este estudo aponte vias para o aprimoramento dos periódicos nacionais, aproximando-os dos padrões de qualidade internacionais, de modo a aumentar a sua relevância na academia internacional.

Também importa notar a limitação que se prende com não ser possível neste estudo avaliar a qualidade relativa dos artigos submetidos aos diferentes periódicos. Este conhecimento seria relevante. Por exemplo, é possível que efetivamente os artigos submetidos aos periódicos de estratos mais altos, sejam eles próprios artigos com maior potencial e, em contraponto, os periódicos classificados em estratos mais baixos, recebam mais submissões de artigos mais fracos. Esta análise tem potencial de impactar eventuais conclusões. Por exemplo, os periódicos de estratos mais altos receberiam artigos melhor executados, melhor redigidos, com a estrutura adequada, com melhor desenvolvimento das hipóteses e do referencial teórico, etc.

Por fim, visto que o sistema brasileiro é diferente dos demais países e a cultura de publicação da comunidade científica em Administração ainda está em formação, importa debater qual o melhor sistema para incentivar produção científica de qualidade – ou em periódicos de impacto internacional. Neste contexto, uma possibilidade de pesquisa futura consiste em comparar o sistema Qualis com os sistemas de estratificação usados em outros países. Esses estudos têm o potencial de contribuir para que os melhoramentos ao Qualis realmente incentivem a realização de pesquisa de qualidade e, especialmente, a publicação internacional. Também o próprio Qualis pode ser modificado. Por exemplo, o sistema ABS (e vários outros, ver a este respeito em Harzing, 2015) tem apenas 4 níveis em contraste com os 8 níveis no Qualis. Quais os benefícios de ter um sistema com mais estratos e como uma reformulação do Qualis, eventualmente agregando estratos, pode ser mais eficaz?

Notas Finais

Os fatores de rejeição, ou as falhas e as lacunas que conduzem à rejeição dos artigos, nos periódicos brasileiros de Administração, merecem maior atenção da comunidade acadêmica da área. Apesar do debate razoavelmente informal que decorre nos bastidores e em eventos, há poucos trabalhos que abordam esses temas com profundidade e com dados empíricos quantitativos. No entanto, a produção científica é um elemento crucial no atual sistema, porque impacta as avaliações de pesquisadores e universidades (embora mais marcadamente os programas de pós-graduação stricto sensu). Por exemplo, a CAPES avalia os programas usando como um dos critérios a produção científica docente.

Publicar em periódicos internacionais de estratos mais altos é, efetivamente, difícil, uma tarefa que se depara com altas taxas de rejeição e um escrutínio mais rigoroso. Mas, se previsivelmente também no Brasil os estratos dos periódicos são um indicador de exigência e relevância, importa promover um debate amplo sobre as métricas usadas e sobre o próprio sistema Qualis, que não é imune a críticas. Após uma fase inicial, em que o Qualis parece ter buscado promover a organização interna dos periódicos (com aspectos como terem uma periodicidade, ter um ISSN, um editor, um corpo editorial, etc.), a evolução do sistema pode exigir alterações no Qualis, refletindo melhorias no sistema de avaliação dos periódicos brasileiros. As melhorias já conseguidas poderão ser alavancadas e contribuir para a inserção internacional da pesquisa nacional. A inclusão nas bases de dados internacionais, a obtenção de fator de impacto, a própria reformulação dos atuais estratos Qualis podem ser componentes nessa evolução qualitativa em prol do desenvolvimento da ciência em Administração no Brasil.

Agradecimentos

Este artigo teve apoio financeiro por meio do Conselho Nacional de Desenvolvimento Científico e Tecnológico, projeto Pesquisa e Publicação Em Administração no Brasil: perspectiva de editores, revisores e autores. Número do processo do CNPq: 445928/2014-0.

Referências

• Bedeian, A. (2003). The manuscript review process: the proper roles of authors, referees, and editors. Journal of Management Inquiry, 12(4), 331-338. doi: 10.1177/1056492603258974
  » https://doi.org/10.1177/1056492603258974
• Benos, D., Kirk, K., & Hall, J. (2003). How to review a paper. Advances in Physiology Education, 27(2), 47-52. doi: 10.1152/advan.00057.2002
  » https://doi.org/10.1152/advan.00057.2002
• Bertero, C., Alcadipani, R., Cabral, S., Faria, A., & Rossoni, L. (2013). Os desafios da produção de conhecimento em administração no Brasil. Cadernos EBAPE, 11(1), 181-196. doi: 10.1590/S1679-39512013000100012
  » https://doi.org/10.1590/S1679-39512013000100012
• Beuren, I., & Souza, J. (2008). Em busca de um delineamento de proposta para classificação dos periódicos internacionais de contabilidade para o Qualis CAPES. Revista Contabilidade & Finanças, 19(46), 44-58. doi: 10.1590/S1519-70772008000100005
  » https://doi.org/10.1590/S1519-70772008000100005
• Bornmann, L. (2010). Does the journal peer review select the “best” from the work submitted? The state of empirical research. IETE Technical Review, 27(2), 93-96. doi: 10.4103/0256-4602.60162
  » https://doi.org/10.4103/0256-4602.60162
• Bornmann, L., Weymuth, C., & Daniel, H. (2009). A content analysis of referees’ comments: how do comments on manuscripts rejected by a high-impact journal and later published in either a low- or high-impact journal differ? Scientometrics, 83(2), 493-506. doi: 10.1007/s11192-009-0011-4
  » https://doi.org/10.1007/s11192-009-0011-4
• Byrne, D. (2000). Common reasons for rejecting manuscripts at medical journals: a survey of editors and peer reviewers. Science Editor, 23(2), 39-44.
• Clark, T., Floyd, S., & Wright, M. (2006). On the review process and journal development. Journal of Management Studies, 43(3), 655-664. doi: 10.1111/j.1467-6486.2006.00617.x
  » https://doi.org/10.1111/j.1467-6486.2006.00617.x
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2013). Documento de área 2013 Recuperado de http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Administra%C3%A7%C3%A3o_doc_area_e_comiss%C3%A3o_16out.pdf
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Administra%C3%A7%C3%A3o_doc_area_e_comiss%C3%A3o_16out.pdf
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2014, abril 1). Classificação da produção intelectual Recuperado em 7 de outubro, 2014, de http://www.capes.gov.br/avaliacao/instrumentos-de-apoio/classificacao-da-producao-intelectual
  » http://www.capes.gov.br/avaliacao/instrumentos-de-apoio/classificacao-da-producao-intelectual
• Diniz, E. (2013). Editorial. Revista de Administração de Empresas, 53(1), 1. doi: 10.1590/S0034-75902013000100001
  » https://doi.org/10.1590/S0034-75902013000100001
• Ferreira, M. (2013). O processo editorial: da submissão à rejeição (ou aceite). Revista Ibero Americana de Estratégia, 12(3), 1-11. doi: 10.5585/riae.v12i3.2042
  » https://doi.org/10.5585/riae.v12i3.2042
• Ferreira, M. (2015). Periódicos e rankings de periódicos em administração. Revista Pensamento Contemporâneo em Administração, 9(2), 1-16.
• Ferreira, M., Canela, R., & Pinto, C. (2014). O processo editorial nos periódicos e sugestões para a publicação. Revista de Gestão e Secretariado, 5(2), 1-22. doi: 10.7769/gesec.v5i2.307
  » https://doi.org/10.7769/gesec.v5i2.307
• Fogarty, T., & Ruhl, J. (1997). Institutional antecedents of accounting faculty research productivity: a LISREL study of the “best and brightest”. Issues in Accounting Education, 12(1), 27-48.
• Frey, B. (2003). Publishing as prostitution ? Choosing between one‘s own ideas and academic failure. Public Choice, 116(117), 205-223. doi: 10.1023/A:1024208701874
  » https://doi.org/10.1023/A:1024208701874
• Garfield, E. (1955). Citation indexes to science: a new dimension in documentation through association of ideas. Science, 122(1), 108-111. doi: 10.1126/science.122.3159.108
  » https://doi.org/10.1126/science.122.3159.108
• Garfield, E. (2006). The history and meaning of the journal impact factor. Journal of the American Medical Association, 295(1), 90-93. doi: 10.1001/jama.295.1.90
  » https://doi.org/10.1001/jama.295.1.90
• Harzing, A-W. (2015, November 27). Journal Quality List Retrieved from http://www.harzing.com/download/jql_journal.pdf
  » http://www.harzing.com/download/jql_journal.pdf
• Harzing, A-W., & Wal, R. (2009). A Google Scholar h‐index for journals: an alternative metric to measure journal impact in economics and business. Journal of the American Society for Information Science and Technology, 60(1), 41-46. doi: 10.1002/asi.20953
  » https://doi.org/10.1002/asi.20953
• Hojat, M., Gonnella, J., & Caelleigh, A. (2003). Impartial judgment by the “gatekeepers” of science: fallibility and accountability in the peer review process. Advances in Health Sciences Education: Theory and Practice, 8(1), 75-96. doi: 10.1023/A:1022670432373
  » https://doi.org/10.1023/A:1022670432373
• Keith, B., & Babchuk, N. (1998). The quest for institutional recognition: a longitudinal analysis of scholarly productivity and academic prestige among sociology departments. Social Forces, 76(4), 1495-1533. doi: 10.1093/sf/76.4.1495
  » https://doi.org/10.1093/sf/76.4.1495
• Kimura, E. (2010). O dilema das revistas científicas brasileiras na divulgação da produção científica nacional. Arquivos Brasileiros de Endocrinologia & Metabologia, 54(1), 1-2. doi: 10.1590/S0004-27302010000100001
  » https://doi.org/10.1590/S0004-27302010000100001
• Kumar, P., Rafiq, I., & Imam, B. (2010). Negotiation on the assessment of research articles with academic reviewers: application of peer-review approach of teaching. Higher Education, 62(3), 315-332. doi: 10.1007/s10734-010-9390-y
  » https://doi.org/10.1007/s10734-010-9390-y
• Lazaroiu, G. (2009). Assessing the influence of peer review on manuscript quality. Review of Contemporary Philosophy, 8(1), 159-166.
• Lewin, A. (2014). The peer‐review process: the good, the bad, the ugly, and the extraordinary. Management and Organization Review, 10(2), 167-173. doi: 10.1111/more.12064
  » https://doi.org/10.1111/more.12064
• Maccari, E. A., Almeida, M. I. R. de, Riccio, E. L., & Alejandro, T. B. (2014). Proposta de um modelo de gestão de programas de pós-graduação na área de administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB). Revista de Administração, 49(2), 369-383. doi: 10.5700/rausp1152
  » https://doi.org/10.5700/rausp1152
• Maccari, E. A., Rodrigues, L. C., Alessio, E. M., & Quoniam, L. M. (2008). Sistema de avaliação da pós-graduação da Capes: pesquisa-ação em um programa de pós-graduação em Administração. Revista Brasileira de Pós-Graduação, 5(9). 171-205.
• Marques, F. (2009). A escala da discórdia. Pesquisa FAPESP, 160(1), 32-34.
• Mesquita, R. F. de, Medeiros, A. K. L. de, Sena, A. M. C. de, Silva, M. C. da, & Gomes, V. M. P. G. (2013). O triênio 2010-2012 e a nova avaliação de periódicos da capes. Revista de Educação, Ciência e Cultura, 18(2), 33-47.
• Miller, B., Pavehouse, J., Rogowski, R., Tingley, D., & Wilson, R. (2013). How to be a peer reviewer: a guide for recent and soon-to-be PhDs. Political Science & Politics, 46(1), 120-123. doi: 10.1017/S104909651200128X
  » https://doi.org/10.1017/S104909651200128X
• Moos, D., & Hawkins, P. (2009). Barriers and strategies to the revision process from an editor’s perspective. Nursing Forum, 44(2), 79-92. doi: 10.1111/j.1744-6198.2009.00131.x
  » https://doi.org/10.1111/j.1744-6198.2009.00131.x
• Pavan, C., & Stumpf, I. (2009). Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e percepções dos atores. Encontros Bibli, 14(28), 73-92. doi: 10.5007/1518-2924.2009v14n28p73
  » https://doi.org/10.5007/1518-2924.2009v14n28p73
• Phelan, S., Ferreira, M., & Salvador, R. (2002). The first twenty years of the Strategic Management Journal: 1980-1999. Strategic Management Journal, 23, 1161-1168. doi: 10.1002/smj.268
  » https://doi.org/10.1002/smj.268
• Picinin, C., Pilatti, L., Kovaleski, J., & Pedroso, B. (2013). Critérios gerais para a concessão de bolsa produtividade no Brasil: um estudo na engenharia de produção. Interciência, 38(11), 785-793.
• Plataforma Sucupira. (2015). WebQualis Recuperado de https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf
  » https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf
• Provenzale, J., & Stanley, R. (2006). A systematic guide to reviewing a manuscript. Journal of Nuclear Medicine Technology, 34(2), 92-99. doi: 10.2214/AJR.05.0782
  » https://doi.org/10.2214/AJR.05.0782
• Radford, D., Smillie, L., & Wilson, R. (1999). The criteria used by editors of scientific dental journals in the assessment of manuscripts submitted for publication. British Dental Journal, 187(7), 376-379. doi: 10.1038/sj.bdj.4800284
  » https://doi.org/10.1038/sj.bdj.4800284
• Rothman, J., Kirk, S., & Knapp, H. (2003). Reputation and publication productivity among social work researchers. Social Work Research, 27(2), 105-115. doi: 10.1093/swr/27.2.105
  » https://doi.org/10.1093/swr/27.2.105
• Samkin, G. (2011). Academic publishing: a Faustian bargain?. Australasian Accounting Business and Finance Journal, 5(1), 19-34.
• Sax, L. J., Gilmartin, S. K., & Bryant, A. N. (2003). Assessing response rates and nonresponse bias in web and paper surveys. Research in Higher Education, 44(4), 409-432. doi: 10.1023/A:1024232915870
  » https://doi.org/10.1023/A:1024232915870
• Selgen, P. (1997). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314(7), 498-502. doi: 10.1136/bmj.314.7079.497
  » https://doi.org/10.1136/bmj.314.7079.497
• Serra, F., Fiates, G., & Ferreira, M. (2008). Publicar é difícil ou faltam competências? O desafio de pesquisar e publicar em revistas científicas na visão de editores e revisores internacionais. Revista de Administração Mackenzie, 9(4), 32-55. doi: 10.1590/S1678-69712008000400004
  » https://doi.org/10.1590/S1678-69712008000400004
• Shidham, V., Pitman, M., & Demay, R. (2012). How to write an article: preparing a publishable manuscript! Cytojournal, 9(1), 1. doi: 10.4103/1742-6413.92545
  » https://doi.org/10.4103/1742-6413.92545
• Tuleski, S., & Barroco, S. (2010). Classificação dos periódicos no sistema QUALIS da CAPES: a mudança dos critérios é urgente! Psicologia em Estudo, 15(1), 1-40. doi: 10.1590/S1413-73722010000100001
  » https://doi.org/10.1590/S1413-73722010000100001
• Turcotte, C., Drolet, P., & Girard, M. (2004). Study design, originality and overall consistency influence acceptance or rejection of manuscripts submitted to the journal. Canadian Journal of Anaesthesia, 51(6), 549-556. doi: 10.1007/BF03018396
  » https://doi.org/10.1007/BF03018396

Datas de Publicação

• Publicação nesta coleção
  Jul-Aug 2016

Histórico

• Recebido
  26 Jan 2015
• Recebido
  18 Jul 2015
• Aceito
  24 Ago 2015