Temos Sido Transparentes o Suficiente? Desafios à Replicabilidade e à Credibilidade da Pesquisa na Área de Negócios

“Science should be ‘show me’, not ‘trust me’!” Ao redor dessa frase Stark (2018, p. 613) discute a necessidade da repetição de estudos científicos, intencionando principalmente conferir robustez aos resultados de pesquisas. A replicabilidade dos trabalhos é aí apontada como o padrão ouro para a pesquisa científica, sendo a transparência o requisito central para que estudos possam ser replicados ou reproduzidos (Janz, 2015; Marques, 2019).

Portanto, a transparência na pesquisa em negócios é algo preponderante para a sua credibilidade, bem como seus impactos diversos, conforme destacam The Declaration on Research Assessment (DORA - https://sfdora.org/), e Committee on Publication Ethics (COPE - https://publicationethics.org/data) (Mendes-Da-Silva, 2018). Mas, quantos de nós temos assegurado a transparência de nossos resultados de pesquisa, por meio do compartilhamento de dados, materiais e/ou códigos (devidamente comentados) utilizados em análises qualitativas, estatísticas ou econométricas (Gandrud, 2018)?

Transparência e causalidade, por sua vez, estão entre as palavras-chave mais citadas nos últimos anos no meio acadêmico (Marques, 2019). Ao mesmo tempo, para estabelecer causalidade convém repetição de experimentos e testes que atestem a robustez dos resultados. Para Aguinis, Cascio e Ramani (2017), a área de negócios não está imune à crise de replicabilidade e reproducibilidade na comunidade científica. Em síntese, existe um alto nível de preocupação com o problema da produção de resultados irreproduzíveis, e por extensão com a credibilidade dos resultados de pesquisa. A esse respeito, pesquisadores, agências de fomento, e periódicos precisam trabalhar juntos para tornar a pesquisa publicada mais confiável, além de melhor rentabilizar recursos investidos em pesquisa científica (Nature, 2016).

Ainda conforme Aguinis et al. (2017) reproducibilidade significa que alguém que não seja autor de um determinado estudo publicado seja capaz de obter os mesmos resultados, por meio do uso dos dados utilizados pelos autores. Já replicabilidade significa que alguém que não seja participante da autoria de um estudo publicado seja capaz de obter testar os mesmos modelos empíricos, com variáveis substancialmente semelhantes, por meio da aplicação dos mesmos passos, mesmo que em um contexto diferente, e com dados diferentes.

É evidente que não é necessariamente fácil afirmar que os resultados de uma pesquisa são críveis e úteis, mesmo que sejam irreproduzíveis e não replicáveis. Infelizmente, ressaltam Aguinis et al. (2017), há uma proliferação de evidências sugestivas de que certo déficit de reproducibilidade e de replicabilidade apresenta-se como algo razoavelmente difundido.

O conhecimento científico avança por meio da corroboração, quando os pesquisadores verificam os resultados obtidos em estudos de outros colegas. Nenhum trabalho de pesquisa pode ser, portanto, considerado como a palavra final. Contudo, há uma expressiva parcela que não se propõe a suficientemente contemplar e priorizar a continuidade do processo de construção do conhecimento. Até mesmo a rápida detecção de erros em artigos já publicados, incluindo-se os não intencionais, pode ser melhor endereçada se acaso os dados (e os códigos usados na análise) estiverem disponíveis, conforme aponta Allison, Brown, George e Kaiser (2016).

Esse procedimento pode colaborar para necessários ajustes e retratações em artigos, mesmo após publicados, acaso erros venham a ser detectados. Periódicos, cientistas, instituições e financiadores têm um papel na resolução da reproducibilidade. A RAC tem-se empenhado na adoção de políticas e medidas para melhorar substancialmente a transparência e robustez do que publicamos. Em adição esperamos colaborar para promoção da conscientização da comunidade de pesquisadores em negócios.

Replicabilidade de pesquisas quantitativas e qualitativas

As abordagens de pesquisa qualitativa e quantitativa são frequentemente vistas como paradigmas opostos na metodologia de pesquisa, com foco na generalização e validade de métodos quantitativos tomando precedência sobre a suposta natureza menos robusta e subjetiva da pesquisa qualitativa. Os proponentes da pesquisa quantitativa podem enfatizar a replicabilidade dos resultados, mas geralmente tendem a negar desafios enfrentados no paradigma do positivismo. Tais desafios centram-se essencialmente no viés da pesquisa, e sua natureza potencialmente reducionista, ao menos conforme apontam alguns defensores da contribuição oriunda de pesquisas de cunho qualitativo.

Conforme argumentos de Kandori (2018), a replicabilidade pode ser vista como aspecto indutor de credibilidade da pesquisa conduzida na área de negócios. Isto remete a comunidade a refletir acerca dos aspectos de transparência que podem permitir a replicabilidade de pesquisas, sejam de natureza quantitativa ou qualitativa. A pesquisa de natureza quantitativa na área de negócios costuma ser mais enfaticamente suportada por uso de dados e ferramentas de análise, facilitando a replicação dos estudos com vistas a uma abordagem objetiva. E a isto se credita uma rota pavimentada que pode conduzir à identificação de relações causais, tal como discutem Poirier (1988) e Makridakis, Assimakopoulos e Spiliotis (2018).

Aguinis et al. (2017) destacam que a pressão crescente sobre os pesquisadores para que publiquem nos periódicos de topo (top journals) pode induzir comportamentos por parte dos pesquisadores, implicando na redução da replicabilidade da pesquisa conduzida. Isto é: atalhos para obter resultados de maior impacto, e supostamente mais provavelmente aceitos para publicação. São exemplos desses atalhos: (a) escolha de determinadas variáveis (favoráveis aos resultados) para incluir no modelo empírico a ser testado; (b) uso de determinadas variáveis de controle; (c) retirada de outliers; e (d) proposição de hipóteses após conhecidos os resultados (HARKing-Hypothesizing After Results are Known). Para Aguinis et al. (2017), a recorrência a tais atalhos ocasionaria basicamente inúmeras tentativas de obter modelos estatísticos de maior capacidade preditiva, mas os pesquisadores frequentemente omitem tais procedimentos. A esse respeito Friedman e Sunder (1994, p. 85, tradução nossa), afirmam que “um número razoável de pesquisadores tortura os dados até que eles confessem”.

A metodologia quantitativa, ao menos em certa medida, pode ser vista como relativamente subjetiva. Isto tendo em vista que, mesmo dentro da pesquisa empírica, está sujeita ao black box thinking, e a vieses decorrentes da visão do pesquisador, sobretudo quando considerada a qualidade potencialmente contestável dos dados empregados na pesquisa (Lundy, 1996). Dito isto, enquanto os métodos quantitativos de análise estão sob explícito escrutínio, os pesquisadores atuantes da abordagem qualitativa têm uma tarefa a desempenhar: provar que sua escolha de métodos é igual, ou até mais valiosa, perante seus pares da comunidade científica.

Se por um lado as pesquisas de cunho quantitativo possuem seus aspectos merecedores de atenção em termos de replicabilidade, as pesquisas qualitativas não são diferentes, ainda que os cuidados sejam específicos. Desse modo, trabalhos caracterizados por estudos de caso, grounded theory, ou pesquisa-ação, por exemplo, podem ser beneficiados por verificações precedentes à submissão a um periódico, conforme detalham e prescrevem Aguinis e Solarino (2019), quando apontam um conjunto de critérios de transparência da pesquisa qualitativa, de modo a assegurar a replicabilidade do estudo, e, portanto, a sua credibilidade. Espera-se que o esmero de autores, editores, e revisores implique na qualidade dos periódicos. Já é possível constatar, na comunidade internacional, iniciativas de classificação de periódicos conforme a reproducibilidade típica da pesquisa publicada, por exemplo: https://replicationindex.com/tag/replicability/.

Os critérios de transparência da pesquisa podem variar conforme a sua modalidade, i.e. se quantitativa ou qualitativa, e conforme o tipo de da replicação intencionada (Aguinis & Solarino, 2019; Bergh, Sharp, Aguinis, & Li, 2017; Goffin, Åhlström, Bianchi, & Richtnér, 2019; Hoorani, Nair, & Gibbert, 2019; Moravcsik, 2014; Plakoyiannaki, Wei, & Prashantham, 2019; Tsang & Kwan, 1999). Assim, conforme Aguinis e Solarino (2019), a respeito da pesquisa qualitativa, a maioria dos critérios de transparência tende a ser requerida, se acaso a replicação for exata, já que nessa modalidade a finalidade seria verificar se os achados de um estudo anterior são passíveis de reprodução, a partir dos mesmos dados e mesmos métodos. Na eventualidade de uma replicação empírica, espera-se empregar o mesmo método, mas com dados diferentes. Isto é, a intenção da replicação empírica seria verificar a validade externa (i.e. generalização) dos resultados em diferentes contextos. De maneira alternativa, se acaso o pesquisador estiver interessado em abordar a mesma população, com procedimentos diferentes, temos uma replicação conceitual.

Em que pese a aparente ênfase na reproducibilidade de pesquisa no âmbito de estudos de abordagem quantitativa, ou data driven, há também debate acerca da reproducibilidade de pesquisa qualitativa na área de negócios. Para pesquisadores como Moravcsik (2014), a transparência é uma pré-condição para o avanço da pesquisa qualitativa. A esse respeito, Aguinis e Solarino (2019) analisaram 52 artigos publicados em um dos mais prestigiosos periódicos na comunidade de pesquisadores em negócios na atualidade, o Strategic Management Journal, a qual revelou que nenhum desses artigos pôde ser considerado suficientemente transparente a ponto de permitir a sua replicação, seja essa última: exata, empírica, ou conceitual.

Nesse mesmo trabalho os autores oferecem recomendações mediante 12 critérios de transparência, e como medi-los. Aguinis e Solarino (2019) sustentam ainda que tais critérios podem ser usados para avaliar pesquisas qualitativas já publicadas, ou mesmo guiar pesquisas futuras que se apoiem em métodos qualitativos. A preocupação com a preservação da transparência da pesquisa qualitativa, com vistas a permitir sua replicação tem ocupado espaço na literatura recente, o que sugere constituir aspecto merecedor de atenção da comunidade de pesquisa em negócios (Goffin et al., 2019; Hoorani et al., 2019; Plakoyiannaki et al., 2019).

É possível notar esforços em outras áreas de conhecimento no sentido de apresentar o nível de avanço em direção à reprodução de resultados, inclusive com o compartilhamento de métodos (inclusive códigos de testes), por exemplo: https://ctuning.org/ae/artifacts.html. Na RAC já temos publicado, desde julho de 2018, trabalhos com dados e/ou materiais compartilhados (Mendes-Da-Silva, 2019), e até mesmo um desses artigos compartilhou os respectivos códigos de análise econométrica (Ermel 2018; Ermel & Martelanc, 2018). Iniciativas desse tipo podem permitir a replicação e reprodução de pesquisas, de modo que os resultados sejam continuamente verificados e aperfeiçoados (Marques, 2019). Assim, o avanço do conhecimento produzido na área de negócios pode ser constatado efetivo, e menos sujeito à necessidade de esforços redundantes. Isto passa a ser particularmente relevante quando estamos submetidos a um ambiente de pesquisa cujos recursos, não somente os financeiros, são crescentemente escassos.

Esta edição especial e palavras finais

A par da necessidade estarmos informados, na condição de pesquisadores, acerca daquilo que precisamos conhecer, mas ainda necessitamos investir esforço de pesquisa, a RAC, nesta edição, oferece à comunidade os trabalhos inéditos selecionados para compor um conjunto de resultados de pesquisas orientadas a um tema que interessa especialmente ao Brasil e a outros países da América do Sul: tecnologia e gestão na região da Amazônia (Athayde et al., 2019).

Desejo nesta oportunidade dirigir o meu sincero e honesto agradecimento aos editores convidados, que aceitaram o nosso pedido de desenvolver uma edição da RAC dedicada à Amazônia, reconhecemos portanto o trabalho profissional desenvolvido pelos professores Emílio José Montero Arruda Filho (UNAMA, Brazil), Cristiana Fernandes de Muylder (Universidade FUMEC, Brasil), Airton Cardoso Cançado (Universidade Federal do Tocantins, Brasil), Ruby Roy Dholakia (College of Business/University of Rhode Island, Estados Unidos), e Angela Paladino (Faculty of Business and Economics/The University of Melbourne, Austrália), os quais se posicionam e apresentam os quatro artigos selecionados para compor esta edição especial, por meio de seu artigo convidado Technology Perspectives and Innovative Scenarios Applied in the Amazon Region.

No segundo artigo, intitulado: Innovation and the Diffusion of Technology in Agriculture in Floodplains in the State of Amazonas, de autoria de Jonas Fernando Petry, Sabrina Arcanjo Sebastião, Erik Garcia Martins, Paulo Berti de Azevedo Barros, os autores afirmam que seu objetivo é investigar a inovação e a difusão de tecnologias no contexto da agricultura em áreas de várzea no interior do Estado do Amazonas (Brasil). Os resultados sugerem que o ambiente competitivo do lado da oferta, bem como a influência das indústrias de agronegócio, assistência técnica, agenda política de desenvolvimento, projetos universitários e prática de campo podem favorecer a difusão de tecnologias.

O terceiro artigo, de autoria de Mauro Margalho Coutinho, Mário Vasconcellos Sobrinho, Sue Anne Collares Maestri de Oliveira, e Ana Margarida Santiago, tem como título Coproduction Between Government and Civil Society to Establish Smart Cities in the State of Pará. O artigo discute as possibilidades de constituição da concepção de cidades inteligentes no Pará (Brasil), a partir da coprodução de serviços públicos entre sociedade civil e governo. São apresentadas duas abordagens de coprodução contextualizadas em um cenário de telemedicina. Os autores buscam desenvolver seu trabalho ao redor do quão dispostos cidadãos e organizações não governamentais estão para coproduzir com o governo, a partir do estabelecimento de parcerias.

No quarto artigo desta edição especial da RAC é Go Global or Stay Local? Understanding How Fiscal Incentives Reshape Supply Networks, os autores são Ricardo Silveira Martins, Janaina Siegler, Armando Souza-Junior, Barbara Flynn, e Guilherme Silveira Martins, os quais se propõem a investigar a forma segundo a qual empresas reconfiguram sua base de fornecedores, e reformulam suas redes de produção para usufruir de incentivos fiscais de Zonas Francas. Seis redes de produção localizadas em Manaus (Brasil) são analisadas utilizando a estrutura da rede global de produção, e fatores relacionados ao tipo de fábrica e relacionamento com fornecedores. Os autores defendem que seus resultados indicam que, se aplicados efetivamente, os incentivos podem afetar a configuração da rede de produção a partir de uma perspectiva de imersão, implicando na mudança do papel estratégico da firma.

O quinto, e último, artigo desta edição é intitulado Interorganizational Relationships in the Amazon Biotech Industry Based on Entrepreneurs´ Perceptions, seus autores são Rosana Zau Mafra, Dimas José Lasmar, e Dalton Chaves Vilela Júnior. No trabalho argumenta-se que diversas modalidades de relacionamentos foram adotadas nas reestruturações industriais como estratégia de sobrevivência e desenvolvimento das organizações. Para os autores, a bioindústria demanda parcerias, dado o elevado investimento técnico-científico necessário. Mas têm sido identificadas dificuldades para concretizá-las no contexto corrente. Na Amazônia, onde a agregação de valor no uso dos recursos da sua biodiversidade tem elevada importância para o desenvolvimento sustentável regional, estudos apontam históricas dificuldades de interação entre empresas da bioindústria, academia e governo. Os autores realçam que seu objetivo é analisar a percepção dos empresários acerca dos relacionamentos interorganizacionais na bioindústria regional. Os autores concluem que resultados realçam a necessidade de propor ações estratégias para aproximação dos atores desta indústria.

Por fim, a par da possibilidade do usufruto de atalhos para realização de pesquisa de natureza quantitativa, e da suposta dificuldade de replicar e reproduzir trabalhos de cunho qualitativo, destacamos que, no âmbito do papel a ser desempenhado pela comunidade acadêmica, parece imperativo refletir acerca da manutenção dos padrões de transparência na pesquisa que produzimos e publicamos. A esse respeito eu gostaria de convidar a comunidade a submeter trabalhos que tenham como intenção central avaliar a transparência da pesquisa até aqui publicada, bem como apontar caminhos que permitam aos nossos pesquisadores garantir a replicabilidade da pesquisa em negócios, seja aquela caracterizada por abordagem quantitativa ou qualitativa (Aguinis, Cascio, & Ramani, 2017; Aguinis & Solarino, 2019). Conforme Stark (2018, p. 613), “science should be ‘help me if you can’, not ‘catch me if you can’”.

Referências

• Aguinis, H., Cascio, W. F., & Ramani, R. S. (2017). Science's reproducibility and replicability crisis: International business is not immune. Journal of International Business Studies, 48(6), 653-663. https://doi.org/10.1057/s41267-017-0081-0
  » https://doi.org/10.1057/s41267-017-0081-0
• Aguinis, H., & Solarino, A. M. (2019). Transparency and replicability in qualitative research: The case of interviews with elite informants. Strategic Management Journal, 40(8), 1291-1315. https://doi.org/10.1002/smj.3015
  » https://doi.org/10.1002/smj.3015
• Allison, D. B., Brown, A. W., George, B. J., & Kaiser, K. A. (2016). Reproducibility: A tragedy of errors. Nature, 530, 27-29. https://doi.org/10.1038/530027a
  » https://doi.org/10.1038/530027a
• Athayde, S., Mathews, M., Bohlman, S., Brasil, W., Doria, C. R. C., Dutka-Gianelli, J., Fearnside, P. M., Loiselle, B., Marques, E. E., Melis, T. S., Millikan, B., Moretto, E. M., Oliver-Smith, A., Rossete, A., Vacca, R., & Kaplan, D. (2019). Mapping research on hydropower and sustainability in the Brazilian Amazon: Advances, gaps in knowledge and future directions. Current Opinion in Environmental Sustainability, 37, 50-69. https://doi.org/10.1016/j.cosust.2019.06.004
  » https://doi.org/10.1016/j.cosust.2019.06.004
• Bergh, D. D., Sharp, B. M., Aguinis, H., & Li, M. (2017). Is there a credibility crisis in strategic management research? Evidence on the reproducibility of study findings. Strategic Organization, 15(3), 423-436. https://doi.org/10.1177/1476127017701076
  » https://doi.org/10.1177/1476127017701076
• Ermel, M. D. A. (2018). “Data for:” "Perfil da participação do advisor nas fusões e aquisições no Brasil" Published at RAC. Mendeley Data, v1. Recuperado de http://dx.doi.org/10.17632/rfybj4xc6w.1
  » http://dx.doi.org/10.17632/rfybj4xc6w.1
• Ermel, M. D. A., & Martelanc, R. (2018). Antecedentes e consequências da participação de advisor em fusões e aquisições. Revista de Administração Contemporânea, 22(6), 859-884. Recuperado de http://www.scielo.br/pdf/rac/v22n6/1982-7849-rac-22-06-0859.pdf https://doi.org/10.1590/1982-7849rac2018170282
  » http://www.scielo.br/pdf/rac/v22n6/1982-7849-rac-22-06-0859.pdf
• Friedman, D., & Sunder, S. (1994). Experimental methods: A primer for economists New York, NY: Cambridge University Press.
• Gandrud, C. (2018). Reproducible research with R and R Studio (2nd ed.). NY: Chapman and Hall/CRC.
• Goffin, K., Åhlström, P., Bianchi, M., & Richtnér, A. (2019). Perspective: State‐of‐the‐art: The quality of case study research in innovation management. Journal of Product Innovation Management, 36(5), 586-615. https://doi.org/10.1111/jpim.12492
  » https://doi.org/10.1111/jpim.12492
• Hoorani, B. H., Nair, L. B., & Gibbert, M. (2019). Designing for impact: The effect of rigor and case study design on citations of qualitative case studies in management. Scientometrics, 1-22. https://doi.org/10.1007/s11192-019-03178-w
  » https://doi.org/10.1007/s11192-019-03178-w
• Janz, N. (2015). Bringing the gold standard into the classroom: Replication in University Teaching. International Studies Perspectives, 17(4), 1-16. https://doi.org/10.1111/insp.12104
  » https://doi.org/10.1111/insp.12104
• Kandori, M. (2018). Replicability of experimental data and credibility of economic theory. Japanese Economic Review, 69(1), 4-25. https://doi.org/10.1111/jere.12175
  » https://doi.org/10.1111/jere.12175
• Lundy, P. (1996). Limitations of quantitative research in the study of structural adjustment. Social Science & Medicine, 42(3), 313-324. https://doi.org/10.1016/0277-9536(95)00153-0
  » https://doi.org/10.1016/0277-9536(95)00153-0
• Makridakis, S., Assimakopoulos, V., & Spiliotis, E. (2018). Objectivity, reproducibility and replicability in forecasting research. International Journal of Forecasting, 34(4), 835-838. https://doi.org/10.1016/j.ijforecast.2018.05.001
  » https://doi.org/10.1016/j.ijforecast.2018.05.001
• Marques, F. (2019). Mecanismos de autocorreção da ciência. Pesquisa FAPESP, 280, 8-10. Recuperado de https://revistapesquisa.fapesp.br/2019/06/07/mecanismos-de-autocorrecao-da-ciencia/
  » https://revistapesquisa.fapesp.br/2019/06/07/mecanismos-de-autocorrecao-da-ciencia/
• Mendes-Da-Silva, W. (Ed.). (2018). Editorial: Promoção de transparência e impacto da pesquisa em negócios. Revista de Administração Contemporânea, 22(4), 639-649. Recuperado de http://www.scielo.br/pdf/rac/v22n4/1982-7849-rac-22-4-1982-7849rac2018180210.pdf https://doi.org/10.1590/1982-7849rac2018180210
  » http://www.scielo.br/pdf/rac/v22n4/1982-7849-rac-22-4-1982-7849rac2018180210.pdf
• Mendes-Da-Silva, W. (2019). Open data articles of Journal of Contemporary Administration (Jul2018-Jul2019) [Data set]. Zenodo. http://doi.org/10.5281/zenodo.3345934
  » http://doi.org/10.5281/zenodo.3345934
• Moravcsik, A. (2014). Transparency: The revolution in qualitative research. PS: Political Science & Politics, 47(1), 48-53. https://doi.org/10.1017/S1049096513001789
  » https://doi.org/10.1017/S1049096513001789
• Nature. (2016). Editorial: Reality check on reproducibility. Nature, 533, 437, https://doi.org/10.1038/533437a
  » https://doi.org/10.1038/533437a
• Plakoyiannaki, E., Wei, T., & Prashantham, S. (2019). Rethinking qualitative scholarship in emerging markets: Researching, theorizing, and reporting. Management and Organization Review, 15(2), 217-234. https://doi.org/10.1017/mor.2019.27
  » https://doi.org/10.1017/mor.2019.27
• Poirier, D. J. (1988). Causal relationships and replicability. Journal of Econometrics, 39(1/2), 213-234. https://doi.org/10.1016/0304-4076(88)90046-2
  » https://doi.org/10.1016/0304-4076(88)90046-2
• Stark, P. B. (2018). Before reproducibility must come preproducibility. Nature, 557, 613. https://doi.org/10.1038/d41586-018-05256-0
  » https://doi.org/10.1038/d41586-018-05256-0
• Tsang, E. W., & Kwan, K. M. (1999). Replication and theory development in organizational science: A critical realist perspective. Academy of Management Review, 24(4), 759-780. https://doi.org/10.2307/259353
  » https://doi.org/10.2307/259353

Datas de Publicação

• Publicação nesta coleção
  28 Out 2019
• Data do Fascículo
  Sep-Oct 2019