"Decifra-me ou te devoro": uma análise das variáveis e fatores que influenciam o impacto da pesquisa científica desenvolvida na área de sustentabilidade no Brasil

"Decipher me or I'll devour you": an analysis of the variables and factors that influence the impact of scientific research developed in the area of sustainability in Brazil

ARTIGOS

"Decifra-me ou te devoro": uma análise das variáveis e fatores que influenciam o impacto da pesquisa científica desenvolvida na área de sustentabilidade no Brasil

"Decipher me or I'll devour you": an analysis of the variables and factors that influence the impact of scientific research developed in the area of ​​sustainability in Brazil

Charbel José Chiappetta Jabbour^I; Ana Beatriz Lopes de Sousa Jabbour^II; Jorge Henrique Caldeira de Oliveira^III

^ILivre-Docente em Administração pela USP, Pós-Doutor pela United Nations University, Doutor pela USP. Graduado em Administração pela UNESP. Bolsista PQII CNPq. Professor Livre-Docente I da UNESP-Bauru

^IIDoutora em Engenharia de Produção pela UFSCar, Professora Assistente Doutora I da UNESP-Bauru

^IIIDoutor pela UNESP. Professor Doutor I da Universidade de São Paulo (USP) - Faculdade de Economia, Administração e Contabilidade, Ribeirão Preto

RESUMO

O objetivo desta pesquisa é analisar quais são as principais variáveis e fatores que, na percepção de pesquisadores da área de sustentabilidade no Brasil, podem influenciar o impacto da pesquisa por eles conduzida. Para tanto, foi elaborado um instrumento de coleta de dados com 14 variáveis, respondido de forma online por 89 pesquisadores da área de sustentabilidade no Brasil. Os resultados apontam que esses pesquisadores percebem o impacto de sua pesquisa como um processo influenciado por meio de quatro fatores.

Palavras-chave: Cienciometria; Área de sustentabilidade; Impacto da pesquisa; Análise fatorial exploratória.

ABSTRACT

The goal of this research is to analyze what are the key variables and factors that, in the perception of researchers in the field of sustainability in Brazil, may be influencing the impact research conducted by them. Therefore, we designed a data collection instrument with 14 variables, responded online by 89 researchers in the field of sustainability in Brazil. The results show that these researchers realize the impact of their research as a process influenced by four factors.

Keywords: Scientometrics; The area of sustainability; Impact research; Exploratory factor analysis.

1 Introdução

O debate acerca do impacto da pesquisa produzida no Brasil, nunca fora tão acalorado, como nos últimos cinco anos. Com o avanço do sistema de pós-graduação nacional, induzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que atribui à produção científica um dos elementos discriminantes da qualidade dos programas de pós-graduação existentes, cada vez mais, vem se discutindo estratégias possíveis e problemas atrelados ao impacto da pesquisa aqui conduzida. Essa reflexão vem sendo, também, induzida por agências de fomento de grande prestígio, tal como a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), que vem exigindo, a partir de 2012, que os pesquisadores interessados em obter auxílio aos seus projetos de pesquisa apresentem indicadores de produtividade e impacto de pesquisas anteriormente conduzidas, por meio da apresentação de informações do Researcher ID e do Google MyCitations. O entendimento de como o impacto da pesquisa - e, consequentemente, as citações à produção científica existente - é influenciado, vem se estabelecendo como um "decifra-me ou te devoro" do sistema de produção científica nacional.

De tal forma, considera-se, aqui, que o interesse dos pesquisadores brasileiros por informações sobre elementos que podem incrementar o impacto de suas pesquisas tende a ser crescente e irreversível no médio prazo. Assume-se que o impacto da pesquisa conduzida pode ser mensurado por meio das citações recebidas pelos artigos publicados em periódicos indexados a bases de dados de prestígio crescente, tais como o ISI Web of Knowledge e o Scopus. O desafio de incremento no impacto das pesquisas nacionais atinge tanto áreas tradicionais do conhecimento como áreas emergentes, como, por exemplo, a área de sustentabilidade, isto é, pesquisadores dedicados à investigação de estratégias de longo prazo, que ponderem, concomitantemente, aspectos econômicos, sociais e ambientais.

Com base nesses dois pressupostos, a questão que motiva esta pesquisa pode ser assim descrita: quais são as principais variáveis e fatores que, na percepção de pesquisadores da área de sustentabilidade no Brasil, podem influenciar o impacto da pesquisa por eles conduzida? Para responder a esse questionamento, pretende-se, aqui, atingir os seguintes objetivos:

a) elaborar um instrumento de coleta de dados com algumas das variáveis mais relevantes e com potencial poder explicativo das citações a pesquisas realizadas pela comunidade científica de sustentabilidade;

b) processar os dados coletados por meio de estatística descritiva, análise de coeficientes de correlação (coeficientes de Pearson) e análise multivariada (Análise Fatorial Exploratória); e

c) esboçar uma tentativa de melhor compreensão das variáveis e fatores que, segundo a percepção da amostra consultada, possam estar influenciando o impacto e citações da pesquisa realizada nessa área.

Para tanto, este artigo estrutura-se da seguinte forma: após esta Seção 1 (Introdução), apresenta-se uma breve revisão da literatura sobre variáveis e fatores que podem influenciar o impacto da pesquisa científica nacional e internacional (Seção 2); na Seção 3, discorre-se sobre os aspectos metodológicos desta pesquisa, envolvendo explicações sobre o paradigma metodológico, delineamento da survey, amostragem e processo de coleta de dados; na Seção 4, são apresentados os resultados da pesquisa empírica, com destaque para a análise descritiva e multivariada dos dados; por fim, na Seção 5, são apresentadas considerações finais desta pesquisa.

2 Breve revisão da literatura

Vários pesquisadores vêm dedicando seu esforço científico para compreender as variáveis e os fatores que podem explicar quando uma pesquisa pode observar impacto mais significativo na comunidade científica, isto é, quando uma dada pesquisa tende a ser mais lida, referenciada, citada e prestigiada. Esse campo de investigação da própria ciência, isto é, a "ciência da ciência", recebe o nome de cienciometria (MACIAS-CHAPULA, 1998).

Conforme Macias-Chapula (1998, p. 134), "cienciometria é o estudo dos aspectos quantitativos da ciência [...] envolve estudos quantitativos das atividades científicas, incluindo a publicação [...]". Assim, a cienciometria se dedica à identificação de tendências e políticas científicas, com especial atenção ao impacto da pesquisa. Nesse contexto, a citação, a referência e o reconhecimento da pesquisa, própria ou alheia, se transformam em um aspecto fundamental da cienciometria.

Muitas são as razões para se citar um trabalho científico, atribuindo-lhe impacto e relevância (MACIAS-CHAPULA, 1998), das quais se destacam algumas:

a) homenagear pioneiros de um dado campo de pesquisa;

b) atribuir créditos merecidos a trabalhos afins;

c) analisar trabalhos anteriores;

d) sustentar declarações;

e) validar e reforçar ideias próprias ou de outros;

f) contestar ideias próprias ou de outros.

os principais periódicos dedicados a esse campo de investigação são:

a)Journal of Informetrics;

b)Scientometrics;

c)Serials Review; e

d)Journal of Documentation, entre outros.

Nestes periódicos, diversos autores tentam compreender as variáveis e fatores que influenciam ou podem condicionar o impacto da pesquisa comunicada, principalmente, no formato de artigos científicos. Por exemplo, Bornmann et al. (2012) verificaram quais fatores, além da qualidade da pesquisa, podem influenciar a quantidade de citações de artigos de química. Concluem que as citações se relacionam com desempenho em citações das referências utilizadas nos artigos, a linguagem do journal, a subárea de química e a reputação dos autores. Não foi encontrada relação estatisticamente significante com o número de autores dos artigos.

Falagas et al. (2010) analisaram a relação entre o valor do fator de impacto de journals de medicina e a quantidade de citações que os artigos lá publicados possuem, concluindo que essa relação não é significativa. Hoepner et al. (2012) avaliaram journals da área de gestão ambiental e concluíram que poucos journals publicam a maior parte dos artigos influentes e mais citados na área, que, também, pertencem a um grupo seleto de autores e Instituições.

Também dedicada aos fatores de influência nas citações, Bielinska-Kwapisz (2012) encontrou significante relação entre quantidade de citações de artigos e o ranking da universidade do autor, posicionamento de um artigo no sumário de um dado journal, tamanho do artigo e número de referências usadas, mas não encontrou relação com colaboração, apoio de órgãos de fomento e o número de apresentações e agradecimentos.

Por fim, o título do artigo também tem relevância com as citações (JAMALI; NIKZAD, 2011). Dessa forma, não foi encontrada pesquisa que analise a percepção de pesquisadores brasileiros da área de sustentabilidade sobre os fatores que podem influenciar seu desempenho em citações.

Da literatura revisada, algumas variáveis estabeleceram-se como as mais prováveis para a compreensão de qual pesquisa ou artigo científico tende a apresentar impacto mais significativo:

a) o prestígio que os meu coautores possuem como pesquisadores;

b) o volume de artigos já publicados que possuo;

c) o prestígio que eu possuo como pesquisador;

d) o prestígio da Universidade em que trabalho;

e) a colaboração internacional (coautores internacionais);

f) o Fator H;

g) o prestígio das Revistas/Journals;

h) a indexação internacional (por exemplo: JCR, Scopus) das Revistas/Journals;

i) o livre acesso ao artigo (download não pago/ Revista do tipo "Open Journal");

j) clareza e adequação do Título, Resumo e Palavras-Chave em artigos;

k) a natureza da pesquisa relatada (Teórica ou Teórico-Prática);

l) o Método da Pesquisa (Qualitativo, Quantitativo ou Mistura de Métodos);

m) língua em que o artigo foi escrito (por exemplo, Português, Inglês, Espanhol); e

n) abrangência da Contribuição dos resultados do artigo (por exemplo, se serve apenas ao Brasil ou se serve a diversos países).

Essas 14 variáveis, acima listadas, serão analisadas nesta pesquisa para fins de identificação dos principais fatores que podem influenciar o impacto/citações de trabalhos científicos conduzidos por pesquisadores brasileiros na área de sustentabilidade no Brasil, conforme os procedimentos metodológicos abaixo descritos.

3 Procedimentos metodológicos

3.1 Características e posicionamento da pesquisa

Esta pesquisa é classificada como quantitativa, pois lida primariamente com processamento de dados numéricos, para convertê-los em informações científicas apropriadas e agregadas. Para tanto, utilizou-se o levantamento de dados do tipo survey, em que especialistas são consultados sobre sua percepção a respeito de uma lista de assertivas (variáveis), por meio da utilização de uma escala de percepção.

3.2 Instrumento de coleta de dados

O instrumento de coleta de dados utilizado foi um questionário com questões fechadas, que deveriam ser autoadministrados pelos próprios respondentes (Quadro 1). Conforme literatura revisada na Seção 3, o questionário contêm 14 variáveis (assertivas), codificadas como de V1 até V14. Cada assertiva correspondia a uma escala do tipo Likert de 5 pontos, onde os extremos equivalem a "1 - Discordo Totalmente" e "5 - Concordo Totalmente". Os respondentes deveriam se posicionar para cada uma das 14 variáveis, em um dos pontos possíveis dessa escala.

Esse questionário foi submetido à validade de conteúdo, isto é, apreciado por dois professores doutores universitários, que publicam regularmente em periódicos nacionais e internacionais, para sanar eventuais erros e/ou inconsistências. Após ter sido o questionário validado em termos de conteúdo, ele foi inserido em um ambiente virtual para coleta de dados online, no caso, o SurveyMonkey, utilizado mundialmente, tanto por organizações sem fins lucrativos como por empresas, para a coleta de dados online sobre a percepção de clientes, usuários e consumidores de bens e serviços.

Após a inserção do questionário no ambiente virtual mencionado, iniciou-se a coleta de dados propriamente dita, para a determinação da amostragem final da pesquisa.

3.3 Processo de coleta de dados, perfil do respondente-alvo e amostragem

O processo de coleta de dados iniciou-se após a elaboração da versão final do questionário da pesquisa, conforme detalhado anteriormente. Para a determinação dos respondentes-alvo, foram selecionados pesquisadores da área de sustentabilidade (organizacional, urbana, etc.). Tal área foi selecionada por seu caráter emergente, ainda em consolidação, em um momento em que o impacto da pesquisa científica está sendo intensamente discutido. Consideraram-se pesquisadores da área de sustentabilidade:

a)portadores do título de Doutor;

b)pesquisadores que se declaram associados à área de sustentabilidade em seus Currículos Lattes;

c)pesquisadores que se declaram associados a temas afins à sustentabilidade em seus Currículos Lattes;

d)pesquisadores que tenham publicado, no mínimo, um artigo sobre o tema em periódico indexado ao Scielo.

O critério (a) foi considerado compulsório, enquanto que o convidado deveria satisfazer adicionalmente no mínimo um dos critérios (b), (c) ou (d). Foram realizadas buscas no Google Scholar, na Plataforma Lattes e na Base Scielo, utilizando-se como palavras-chave os termos que compõem o conceito de sustentabilidade: meio ambiente, ambiental, social, responsabilidade social, sustentável, desenvolvimento sustentável, entre outros. Ao longo desse período, coletaram-se informações como Nome e Endereço Eletrônico (e-mail) de quase 300 pesquisadores na área.

Para cada um dos pesquisadores identificados, foi enviado um convite eletrônico, contendo uma breve explicação da pesquisa e um web link direcionador para o questionário da pesquisa, que foi inserido em ambiente virtual SurveyMonkey. Esses e-mails foram enviados durante os meses de Agosto, Setembro e Outubro de 2012, obtendo-se 89 questionários válidos como retorno.

3.4 Instrumentos de análise de dados

Como instrumentos de processamento e análise de dados, foi uma utilizada planilha de sistematização dos dados coletados, na qual cada um dos respondentes da pesquisa teve as respostas assinaladas inseridas em linhas nessa planilha, tendo-se, portanto, 89 linhas. Alguns pesquisadores deixaram alguns valores da planilha sem preenchimento. Esses valores foram substituídos pelo valor médio da variável com missing values. Essa sistematização foi inserida no Software SPSS Versão 19.0. Nesse software, foram realizados os seguintes testes:

a) estatística descritiva, na qual cada variável da pesquisa foi analisada individualmente, em termos de média e desvio padrão apresentados;

b)correlação de Pearson, que apresenta uma análise bivariada, variável-variável, sobre o coeficiente de correlação entre elas. Tais correlações podem ser positivas, negativas, estatisticamente significativas e/ou significativamente não significativas (Tabela 1); e

c)Análise Fatorial Exploratória, em que se utilizou o método de extração de componentes principais com ajuste ortogonal varimax.

Os resultados dessas análises serão apresentados a seguir.

4 Apresentação e análise dos resultados

O Gráfico 1 apresenta os valores das médias obtidas para cada uma das 14 variáveis consideradas nesta pesquisa. Percebe-se que as variáveis que apresentaram as três maiores médias são V7, V10 e V13, isto é, os pesquisadores consultados acreditam que as variáveis que mais influenciam a citação de seus artigos por outros pesquisadores são, respectivamente:

"o prestígio das Revistas/Journals em que venho publicando";

"clareza e adequação do Título, Resumo e Palavras-Chave em meus artigos";

"língua em que o artigo foi escrito (por exemplo, Português, Inglês, Espanhol)".

Ganham, assim, relevância à compreensão do prestígio dos periódicos, os elementos fundamentais nos processos de busca de artigos em bases de dados (título, resumo e palavras-chave) e o idioma em que o artigo foi escrito. Essas variáveis não se relacionam, necessariamente, com a qualidade da pesquisa realizada, mas, sim, com atividades que, muitas vezes, são realizadas antes da submissão dos artigos aos periódicos.

Dentre as 14 variáveis analisadas (Tabela 1), tem-se que, de forma geral, a maior parte das correlações é de baixa intensidade e parcela considerável delas não é significativa ao nível de p value menor ou igual a 0,05. Cinco correlações mostram-se mais intensas, com coeficientes de correlação igual ou maior a 0,05 (destacadas, em negrito, na Tabela 1):

"o volume de artigos já publicados que possuo" (V2) e "o prestígio que eu possuo como pesquisador" (V3);

"o prestígio que eu possuo como pesquisador" (V3) e "a colaboração internacional (coautores internacionais)" (V5);

"o prestígio que eu possuo como pesquisador" (V3) e "o meu Fator H" (V6);

"o meu Fator H" (V6) e "a indexação internacional (por exemplo: JCR, Scopus) das Revistas/Journals em que venho publicando" (V8); e

"o prestígio das Revistas/Journals em que venho publicando" (V7) e "a indexação internacional (por exemplo: JCR, Scopus) das Revistas/Journals em que venho publicando" (V8).

Além da análise de correlação, foi realizada uma Análise Fatorial Exploratória, conforme Tabela 2.

Todos esses fatores foram nominados, conforme indicações prévias da literatura e obtiveram bons indicadores de qualidade estatística (Tabela 3).

Dessa forma, os pesquisadores da área de sustentabilidade, considerados na amostra desta pesquisa, tendem a compreender o processo de citação/impacto de suas pesquisas com base em quatro fatores distintos, relacionados, respectivamente, ao prestígio dos pesquisadores, dos meios de publicação, acesso e qualidade do artigo, além da internacionalização da publicação.

5 Conclusões

O objetivo desta pesquisa - de verificar as variáveis e os fatores que, na percepção de pesquisadores da área de sustentabilidade, podem influenciar o impacto e a citação de seus artigos - foi alcançado, por meio da coleta de dados junto a uma amostra de 89 pesquisadores, cujos resultados foram obtidos por meio de estatística descritiva, análise de correlação e fatorial.

Os principais resultados desta pesquisa são:

a) apenas cinco correlações merecem destaque. Uma dessas correlações indica que há percepção de que o prestígio como pesquisador está vinculado ao volume de artigos publicados (V2 e V3);

b) há, também, percepção de que o prestígio como pesquisador se vincula à rede de colaboração em pesquisa (V3 e V5) e, mais, ao Fator H do indivíduo (V3 e V6);

c) percebe-se que o Fator H se relaciona com a indexação internacional dos periódicos em que se publica (V6 e V8) e que esta indexação internacional se vincula com o prestígio do periódico (V7 e V8);

d) identificou-se que os entrevistados percebem que um dos fatores de influência no impacto das suas pesquisas é "prestígio do autor e de sua rede de pesquisa";

e) há, também, a percepção de que "prestígio dos meios de publicação e sua indexação" pode influenciar a quantidade de citações;

f) adicionalmente, percebe-se como relevante o fator "possibilidade de acesso e características de qualidade do artigo"; e

g) por fim, o fator "Internacionalização da comunicação e abrangência do estudo" também é considerado relevante pelos entrevistados.

Esses resultados permitem tecer algumas considerações e implicações para pesquisadores, instituições de ensino e pesquisa e formuladores de políticas e estratégias científicas nacionais.

A primeira constatação é de que o prestígio do pesquisador e sua rede de colaboração estão vinculados. Assim, deve-se incentivar a parceria em pesquisa, principalmente por meio de Projetos Temáticos interinstitucionais. Destaca-se, também, a relevância da variável Fator H, relacionada com o prestígio do pesquisador e do periódico. Assim, o Fator H, métrica cada vez mais presente no contexto de produção científica mundial, é percebido como associado ao prestígio do pesquisador e onde ele publica. Consequentemente, o fornecimento de treinamento sobre o tema é necessário, bem como o incremento no impacto de onde se publica, o que tem consequências para o Fator H do pesquisador.

Por fim, há a percepção de que o impacto/citações da pesquisa desenvolvida pelos pesquisadores da amostra pode ser influenciado por quatro fatores distintos, que envolvem tanto o prestígio dos pesquisadores, das publicações e da internacionalização da pesquisa. Esses quatro fatores precisam ser considerados tanto pelas instituições de ensino e pesquisa quanto por pesquisadores, como, também, por instituições criadoras de estratégias de desenvolvimento científico do Brasil, pois as ações desenvolvidas para o incremento do impacto da pesquisa precisam ser articuladas. Por exemplo, a publicação internacional exige competências e conhecimentos da língua inglesa em um nível muitas vezes não dominado pelos pesquisadores. Isso requer que as instituições envolvidas, nesse processo, forneçam oportunidades e meios para o suprimento desse conhecimento.

Os resultados desta pesquisa devem ser ponderados e considerados com cautela, pois há limitações a ela inerentes. A primeira limitação é que esta pesquisa se relaciona a uma amostra restrita de 89 pesquisadores, de uma área específica e não generalizável, a sustentabilidade. Sugere-se que os objetivos desta pesquisa sejam expandidos para outras áreas do conhecimento.

Recebido em 21.11.2012

Aceito em 23.02.2013

• BORNMANN, L. et al. What factors determine citation counts in chemistry besides their quality? Journal of Informetrics, v. 6, p. 11-18, 2012.
• FALAGAS, M. E. et al. Comparison of the distribution of citations received by articles published in high, moderate, and low impact factor journal in clinical medicine. Internal Medicine Journal, v. 40, p. 587-591, 2010.
• HOEPNER, A. G. F. et al. Environmental and ecological economics in the 21st century: an age adjusted citation analysis of the influential articles, journals, authors and institutions. Ecological Economics, v. 77, p. 193-206, 2012.
• BIELINSKA-KWAPISZ, A. Published, not perished, but has anybody read it? Citation success of finance research articles. Applied Financial Economics, v. 22, n. 20, in press, 2012.
• JAMALI, H. R.; NIKZAD, M. Article title type and its relation with the number of downloads and citations. Scientiometrics, v. 88, p. 653-661, 2011.
• MACIAS-CHAPULA, C. A. O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Ciência da Informação, v. 27, n. 2, p. 134-140, 1998.
• WINKER, K. In scientific publishing at the article level, effort matters more than journal impact factors. Bioessays, v. 33, p. 400-402, 2011.

Datas de Publicação

• Publicação nesta coleção
  17 Jun 2013
• Data do Fascículo
  Jun 2013

Histórico

• Recebido
  21 Nov 2012
• Aceito
  23 Fev 2013