Produção científica em administração de empresas: provocações, insinuações e contribuições para um debate local

DOCUMENTOS E DEBATES

Produção científica em administração de empresas: provocações, insinuações e contribuições para um debate local

Carlos Osmar Bertero; Miguel Pinto Caldas; Thomaz Wood Jr.

RESUMO

Este trabalho aborda a questão da qualidade da pesquisa científica em administração no Brasil. Trata, especificamente, dos critérios utilizados na avaliação de trabalhos apresentados em congressos ou publicados em periódicos. Discutimos inicialmente o crescimento quantitativo da pesquisa em administração e as limitações desta mesma produção em termos de qualidade. Descrevemos em seguida uma pesquisa empírica, realizada a partir de publicações científicas, notáveis e avaliadores do campo no Brasil. Tal pesquisa teve como objeto a utilização de critérios de avaliação e revelou um quadro de grande diversidade quanto aos critérios aplicados e aos significados a eles atribuídos. Como resposta a esta situação, propomos um modelo de critérios, a ser utilizado na avaliação de trabalhos científicos em administração no Brasil. Tal modelo é genérico e adaptável a diferentes contextos e finalidades. Postulamos que o fortalecimento do campo da administração no Brasil requer critérios de avaliação mais claros e bem definidos, e que é chegado o momento, após o recente crescimento quantitativo, de uma reflexão em prol da qualidade da produção científica.

Palavras-chaves: produção científica; critérios de avaliação; administração.

ABSTRACT

This article approaches the issue of quality in scientific research within the management field in Brazil. More specifically, it deals with the criteria used in the country to review research presented in scientific conferences or published in journals. At first we discuss the recent quantitative growth of research in the Brazilian management realm, as well as the limitations of such research in terms of quality. Afterwards, we report an empirical investigation, conducted among Brazilian scientific outlets, senior scholars and referees in the field. Such investigation was focused on the utilization of research assessment criteria, and revealed significant diversity in terms of which criteria were used and in terms of the meaning they were given. As a response to such situation, we suggest an Assessment Criteria Model, which could be used to review scientific management research in Brazil. Such model is designed to be generic and adaptable to different contexts and objectives. It is our belief that, to strengthen the field of management research in Brazil, clear and well defined criteria need to be better established. We also believe that the moment has come - after the recent quantitative growth - for us to deeply examine the quality of Brazilian scientific research within the management domain.

Key words: scientific research; assessment criteria; administration.

INTRODUÇÃO

"Você não escreve para dizer algo.

Você escreve porque tem algo a dizer".

F. Scott Fitzgerald

"Uma boa teoria explica, prediz e deleita".

Karl Weick

Apesar de novo como campo científico no Brasil, a pesquisa em administração de empresas tem crescido quantitativamente nos últimos anos. Entretanto, parece evidente que a qualidade não tem acompanhado a quantidade. O tema tem sido objeto de interesse e preocupação de pesquisadores na área de administração (e.g.: Machado-da-Silva, Cunha e Amboni, 1990; Bertero e Keinert, 1994; Vergara e Carvalho Jr., 1995; Carrieri e Luz, 1998; Hoppen, 1998; Vieira, 1998). Nossa produção é periférica, epistemologicamente falha, metodologicamente deficiente, sem originalidade e pratica, em grande escala, mimetismo mal informado.

Este trabalho tem como objetivo contribuir para a discussão do assunto⁽¹⁾. Trata, especificamente, da questão dos critérios para avaliação da produção científica. Advogamos que o fortalecimento do campo da administração no Brasil requer critérios de avaliação mais claros e bem definidos e que é chegado o momento, após o recente crescimento quantitativo, de uma reflexão em prol da qualidade da produção científica. Nosso desejo é enriquecer e ampliar o debate sobre o tema, estimulando os pesquisadores da área à reflexão⁽²⁾.

O restante do texto está organizado da seguinte forma: na primeira seção discutimos o crescimento quantitativo da pesquisa em administração e as limitações da produção acadêmica decorrente em termos de qualidade. Na segunda seção apresentamos uma pesquisa empírica, realizada junto a notáveis do campo e referees. O objetivo desta pesquisa foi verificar como os critérios de avaliação são utilizados no julgamento de trabalhos científicos no país. Na terceira seção propomos um modelo de critérios, que poderia ser utilizado na avaliação de nossa produção em administração no campo brasileiro. Tal modelo é genérico e adaptável a diferentes contextos e finalidades. Finalmente, na quarta seção apresentamos uma síntese do trabalho, comentários finais e indicações para futuras pesquisas.

INDÍCIOS SOBRE O ESTADO DAS COISAS

O Crescimento Acelerado dos Programas de Pós-Graduação

Quando se empreende uma análise comparativa, o Brasil sempre surpreende, embora nem sempre por razões positivas. Na retórica vitimada pelo ufanismo o Brasil é sempre grande. Nosso gigantismo é refletido pela área ocupada no planeta, pela demografia, pelo Produto Nacional Bruto e, certamente, pelo porte do aparato educacional universitário.

Em 1960 não tínhamos, para uma população de aproximadamente 70 milhões de habitantes, mais do que 100.000 matrículas no ensino superior. Em 1996, com uma população de 160 milhões de habitantes, as matrículas no mesmo nível de ensino eram de 1.868.529 (Durham, 1998). O crescimento foi acompanhado de uma multiplicação das Instituições de Ensino Superior. Em 1994, o país já possuía 127 universidades, 637 instituições isoladas e 84 federações de estabelecimentos de ensino superior (Sampaio, 1996).

Além disto, é importante registrar a criação e a consolidação da pós-graduação stricto sensu. O Brasil organizou pela primeira vez esta modalidade de pós-graduação no início da década de setenta, quando esforços governamentais federais levaram à criação de programas de mestrado e doutorado em universidades públicas e em algumas universidades privadas. Atualmente a pós-graduação brasileira stricto sensu é apresentada como um sucesso em termos de países emergentes. Costuma-se afirmar que, melhor do que o nosso sistema, só os encontrados nos países desenvolvidos. E sempre se observa que tudo isso foi conquistado em período relativamente curto: menos do que três décadas.

A área de administração encontra-se presente na pós-graduação stricto sensu desde os seus primeiros passos. Já em fins dos anos sessenta e início da década seguinte programas surgiram no Rio de Janeiro, São Paulo, Minas Gerais, Rio Grande do Sul e Paraíba. Os anos oitenta assistiram ao aparecimento de programas de mestrado e doutorado em administração em vários outros Estados da União⁽³⁾.

A Avaliação da CAPES contra o Triunfalismo Exacerbado

A última avaliação realizada pela Coordenação do Aperfeiçoamento do Pessoal de Ensino Superior (CAPES) sobre os programas de pós-graduação stricto sensu constituiu saudável reação contra o triunfalismo até então predominante. Os critérios de avaliação foram alterados no sentido de abandonar o narcisismo dominante e situar a pós-graduação no contexto mundial e, como poderiam ter previsto os mais lúcidos e críticos, os resultados não foram satisfatórios.

Nosso sistema de pós-graduação é grande, mas não possui qualidade mundial. Os programas foram julgados em função de produção científica e eventualmente tecnológica, por meio do grau de inserção que conseguem junto à comunidade acadêmica mundial, medida através de publicações em periódicos acadêmicos de nível internacional e apresentação de trabalhos e resultados em congressos e encontros internacionais de primeiro nível. O resultado é que o país apresenta pouco mais de uma dúzia de programas com nota 7⁽⁴⁾. Significativamente, nenhum programa de administração foi avaliado com a nota máxima.

Um Retrato (Inacabado) da Produção Científica em Administração no Brasil

Uma análise da produção brasileira, como veiculada em revistas acadêmicas, teses de mestrado e doutorado e anais do Encontro Anual da Associação Nacional dos Programas de Pós-Graduação em Administração (ENANPAD), onde se registra parte substancial da produção científica de docentes e discentes de cursos de pós-graduação stricto sensu, tende a comprovar as afirmações feitas sobre a qualidade e relevância de nossa produção no início deste texto.

O tema tem sido tratado com alguma freqüência por pesquisadores da área, que têm focalizado, alternativamente: a classificação de nossa produção em termos epistemológicos, o referencial teórico utilizado por autores locais e a aplicação teórica e prática da pesquisa produzida.

Aplicabilidade Duvidosa

A produção brasileira, segundo levantamento realizado por Bertero e Keinert (1994), seria de inclinação predominantemente acadêmica, o que indica pouca preocupação com aplicabilidade e pouca atenção ao universo gerencialista e à problemática concreta enfrentada por executivos. Os autores argumentam que a produção nacional seria portanto um fenômeno da academia, nela gerada e por ela própria consumida. Constatação similar havia sido feita por Machado-da-Silva, Cunha e Amboni (1990). Sua pesquisa revelou a falta de interesse por temas relacionados a aplicações práticas.

Talvez nem mesmo a configuração de um universo acadêmico possa ser plena. Um indício de que nem a própria academia esteja consumindo o conhecimento nela produzido foi levantado por Vieira (1998), em trabalho restrito à área de marketing. Este autor comprovou, analisando textos dos anais do ENANPAD, e suas respectivas referências bibliográficas, que as publicações na área de marketing não têm servido como referência para a própria área.

Poder-se-ia especular, neste caso, que nossos trabalhos são escritos para serem apresentados e publicados, e não para serem lidos ou utilizados em pesquisas posteriores. Tal situação poderia ser ainda relacionada ao fato que muitos trabalhos não passam de exercícios de autodesenvolvimento, sem valor relevante para a construção do conhecimento na área, seja este de natureza prática ou teórica.

Referencial Importado

Em termos de referencial, a produção científica brasileira fundamenta-se em produção estrangeira, à medida que assuntos, variáveis e problemas são os levantados por autores estrangeiros. Sintomaticamente, a produção nacional reproduz as oscilações e os modismos de inspiração quase que exclusivamente norte-americana (Bertero e Keinert, 1994).

Esta posição é corroborada pelo trabalho de Vergara e Carvalho Jr. (1995), que procederam a um levantamento de autores referenciados por brasileiros. O resultado é que quase 80% das referências são de autores não brasileiros, cabendo do total 60% somente aos estadunidenses. A seguir temos franceses com 11%, ingleses com 10%, alemães com 7%, canadenses com 5% e outros estrangeiros com os restantes 7%. Aos brasileiros fica um resíduo de 2%. O trabalho demonstra que autores estrangeiros são utilizados não apenas para inspiração sobre temas, assuntos e variáveis a utilizar, mas também como os fornecedores de referenciais teóricos⁽⁵⁾.

Inclinação Funcionalista e Confusão Epistemológica

A natureza da produção brasileira seria ainda de tendência epistemologizante (Bertero e Keinert, 1994). Isto se traduz em trabalhos voltados à reflexão e à forma de ensaio, pouco afeita a trabalhos empíricos e à manipulação de dados⁽⁶⁾.

Quanto à classificação epistemológica, Machado-da-Silva, Cunha e Amboni (1990) fizeram uso da classificação de Burrell e Morgan (1979) e constataram que quase toda a produção nacional está situada no paradigma funcionalista (80,3%). Os demais paradigmas ficam com os 20% restantes, sendo que quase nada foi produzido no referencial humanista radical e interpretacionista.

Ao fazerem uso do popular texto de Morgan (1986), Images of Organization, os autores referidos constatam que a metáfora hegemônica é a orgânica, o que denota grande popularidade e penetração da chamada teoria dos sistemas entre nossos autores.

Ainda quanto à utilização de variáveis epistemológicas e metodológicas, é interessante lembrar o trabalho de Martins (1996), que analisou teses de mestrado e doutorado apresentadas nos programas de pós-graduação da FEA/USP, da EAESP/FGV e da PUC de São Paulo. A pesquisa revela o predomínio de trabalhos agrupáveis como empíricos, positivistas, sistêmicos e funcionalistas, que perfazem 68,5% do total.

Analisando também dissertações de mestrado, porém neste caso a produção acadêmica da UFMG, Carrieri e Luz (1998) constatam que predomina entre os mestrandos - e, pode-se deduzir, também entre seus orientadores - uma confusão metodológica quanto à concepção das pesquisas e seus respectivos quadros teórico-metodológicos. Tal situação, segundo os autores, é conseqüência da inexistência de uma formação epistemológica básica e forte.

Qualidade Falha

Em termos de qualidade, Machado-da-Silva, Cunha e Amboni (1990) lembram que o material aqui produzido é analiticamente fraco e quase sempre caracterizado por um tom prescritivista. Desta forma, introduzem um elemento de cautela quanto à produção nacional, lembrando que ela é "[...] considerada de qualidade duvidosa" (Machado-da-Silva, Cunha e Amboni, 1990, p. 26).

Ainda sobre a questão da qualidade das publicações, Hoppen (1998) avaliou o estado da arte da área de sistemas de informação no Brasil, a partir da análise de artigos publicados em revistas científicas de administração. O autor concluiu que a qualidade científica dos artigos é baixa. Os pontos críticos são de natureza metodológica: ausência de explicação de como as teorias de base são utilizadas, descrição incompleta dos procedimentos metodológicos e não validação dos instrumentos de pesquisa.

A Fragilidade da Produção Científica Local e uma Proposta para o seu Fortalecimento

À medida que esta revisão da literatura está voltada para o tópico deste projeto de pesquisa, devemos reter três aspectos críticos: a falta de originalidade, a relevância questionável, seja do ponto de vista prático ou acadêmico, e a qualidade falha, tanto do ponto de vista epistemológico, quanto do ponto de visa metodológico.

Portanto advogamos que há consenso em denunciar a fragilidade científica do campo de administração em nosso país, que não logrou o mesmo sucesso em consolidar teorias e acumular conhecimentos como em outras áreas.

Como observamos no início do texto, o discurso oficial brasileiro é de que consolidamos em tempo excepcionalmente curto um razoável programa de pós-graduação para um país emergente. Porém o problema que se coloca é inquestionavelmente o da qualidade. Se os programas se consolidaram com grande rapidez, resta a constatação de que continuam programas de segunda classe, no que diz respeito à qualidade da produção científica e ao nível de capacitação do pessoal formado.

Se tomarmos dados agregados sobre capacitação científica e tecnológica do país, medida em termos de publicações em periódicos de nível mundial e patentes registradas, veremos que a contribuição do Brasil é modesta, para dizer o mínimo. O mesmo pode ser constatado em administração, onde a proliferação de programas, a parturição de grande número de teses, artigos e até mesmo livros não têm encontrado a contrapartida de qualidade que possa alçar-nos ao nível de programas centrais.

Diante deste quadro, vemo-nos obrigados a aceitar, ainda que parcialmente, a posição daqueles (e.g.: Pfeffer, 1993) que advogam que o desenvolvimento da ciência administrativa deve ser feito dentro de paradigmas e mediante a ação esclarecida de gatekeepers, que estabeleceriam regras básicas para a publicação de pesquisa científica.

No Brasil, os indícios da predominância de um paradigma, como se constata em alguns dos trabalhos citados nesta seção, não parecem ter sido suficientes para garantir o desenvolvimento do campo. Adicionalmente, pode mesmo soar anacrônica tal proposição diante do quadro de multiplicação de paradigmas ora em curso.

Por outro lado, talvez seja a hora de considerar mais seriamente a questão dos gatekeepers, com o estabelecimento de regras e critérios mais rígidos para a avaliação de nossa produção. Sem dúvida, temos de considerar a hipótese de que a permissividade dominante no ambiente acadêmico local não esteja contribuindo muito para a evolução da qualidade da produção acadêmica.

MAPEANDO ALGUNS TERRITÓRIOS DO CAMPO DE PESQUISA

Na seção anterior procuramos introduzir a discussão em torno da questão da qualidade da produção científica em administração no Brasil. Mostramos diversos indícios sobre as limitações da qualidade da pesquisa aqui gerada e sugerimos, ao final, que um esforço em prol da qualidade requer o estabelecimento de critérios mais objetivos e claros de avaliação.

Nesta seção iremos apresentar um trabalho de campo realizado com tal projeto em mente. Tal trabalho foi estruturado em três pesquisas:

. a primeira pesquisa compreendeu um levantamento dos critérios prescritos pelos principais outlets do campo, no Brasil e no exterior;

. a segunda pesquisa, realizada junto a alguns experientes pesquisadores do campo no Brasil, buscou identificar que critérios são prescritos como ideais por tais formadores de opinião;

. a terceira pesquisa envolveu um estudo de campo abrangente, em que foram entrevistadas dezenas de referees do campo no Brasil, visando a determinar quais critérios avaliadores de produção científica em administração no Brasil são utilizados.

A seguir, apresentam-se as metodologias, os resultados e comentários sobre essas três pesquisas.

Pesquisa 1 - Critérios Prescritos nos Principais Outlets do Campo

Metodologia

A primeira pesquisa utilizou um método de coleta documental, levantando, sistematizando e analisando os critérios que os principais periódicos do campo declaram utilizar. Para a composição da amostra, utilizou-se um método intencional, baseado na indicação de periódicos nacionais e estrangeiros pelos próprios autores e por pesquisadores seniores. Procurou-se garantir que todas as áreas temáticas estivessem representadas e que os principais periódicos brasileiros e estrangeiros estivessem presentes na amostra (vide Quadro 1).

A sistematização dos dados coletados foi feita por meio do agrupamento por categorias. Dado um conjunto de fatores reincidentes (de forma, de método etc), um critério era nomeado. Em seguida, eram anotadas as freqüências de ocorrência⁽⁷⁾.

Resultados e Comentários

A pesquisa revelou grande diversidade de fatores e critérios de avaliação, como mostra a Tabela 1.

Uma contagem simples de freqüência de cada critério utilizado, entretanto, não é suficiente para retratar o grau total de diversidade, uma vez que os critérios têm significados diferentes para periódicos diferentes⁽⁸⁾. A análise dos dados coletados permite concluir o que se segue.

. Os critérios de avaliação variam significativamente conforme a orientação editorial (alvo, foco, abrangência etc) do periódico. Um periódico voltado para um público mais gerencial, como a HBR, por exemplo, dá ênfase a critérios de relevância prática em detrimento de critérios metodológicos ou de rigor científico. Inversamente, periódicos mais voltados ao público acadêmico, como a ASQ ou a AMR, tendem a usar critérios mais orientados por rigor científico do que pela relevância prática;

. O sentido dado a cada critério de avaliação também varia conforme a orientação editorial do periódico. A orientação do periódico altera a escolha ou o peso de critérios de avaliação, mas também muda o significado que se dá a cada critério. Por exemplo: embora critérios de clareza e de forma sejam comuns entre a maior parte dos periódicos pesquisados, o que se espera que esteja claro, e em que sentido a forma será avaliada, muda de acordo com a orientação editorial. Periódicos mais voltados a um público científico tendem a pedir clareza no que tange à definição das variáveis, níveis de análise ou hipóteses e proposições abordadas. Por outro lado, periódicos mais orientados para um público gerencial pedem clareza em relação a atributos de relevância e utilidade prática de conceitos.

É importante frisar que, independentemente da linha de pesquisa ou inclinação paradigmática, todos os periódicos adotam critérios de seleção. Esses critérios são expressos de duas formas básicas: (a) mediante uma declaração de missão ou equivalente; e/ou (b) uma lista de requisitos e critérios. A primeira forma é mais característica de periódicos de linha mais generalista e/ou voltada ao público gerencial. A segunda forma é mais característica de periódicos de linha acadêmica.

Assim, ao se investigar os critérios de avaliação de trabalhos científicos em periódicos, tão importante quanto coletar a freqüência de incidência dos critérios é ponderar essa observação em relação à linha editorial ou à missão divulgada por cada veículo⁽⁹⁾.

A declaração do tipo de artigo que o periódico quer atrair e a forma como a avaliação é feita estão ligadas ao modo de inserção da publicação no meio. Cada periódico tem ligações formais e informais com associações, grupos de pesquisadores e instituições de ensino. Esta rede desenvolve, ao longo do tempo, noções do que é aceitável ou não como contribuição científica. Esses princípios e valores não declarados constituem a base não expressa de critérios de avaliação. Neste sentido, os critérios expressos são apenas a ponta visível do iceberg⁽¹⁰⁾.

Pesquisa 2 - Critérios Prescritos por Pesquisadores Seniores no Brasil

Metodologia

A principal justificativa para a segunda pesquisa é a premissa de que os critérios de avaliação são socialmente dependentes. Portanto, para compreender o processo de avaliação de trabalhos científicos no Brasil, é relevante identificar o que prescrevem formadores de opinião e gatekeepers.

A pesquisa baseou-se em método de levantamento exploratório e foi realizada com uma amostra de notáveis brasileiros. Procurou-se construir a amostra por meio de critérios de diversidade e representatividade, procurando incluir: (a) editores dos principais periódicos acadêmicos no Brasil; (b) representantes dos diversos paradigmas e estilos de pesquisa científica existentes; (c) representantes das diversas áreas e campos funcionais; e (d) representantes das diversas regiões do país. Dos 20 pesquisadores inicialmente listados, 10 foram entrevistados. A coleta de dados foi realizada por meio de entrevistas em profundidade, semi-estruturadas. Esse levantamento foi complementado pela sistematização dos critérios por eles prescritos.

Resultados e Comentários

Assim como o levantamento entre periódicos mostrou grandes diferenças de fatores e critérios de avaliação, as entrevistas realizadas com pesquisadores de administração seniores revelaram grande diversidade quanto aos critérios de julgamento. Os resultados da pesquisa 2 evidenciam a grande heterogeneidade de critérios de julgamento de produção científica em administração usados no Brasil (vide Quadro 2). Esta heterogeneidade manifesta-se em três aspectos.

. Há baixo consenso em relação aos critérios prescritos para julgar a produção científica. No Quadro 2 as áreas hachuradas representam os critérios prescritos por cada pesquisador.

. Há baixo consenso no concernente a quais são os critérios mais importantes. As áreas hachuradas em negro representam os critérios enfatizados por cada avaliador. Novamente, é possível perceber como os respondentes raramente concordam em relação aos critérios mais importantes.

. Há baixo consenso quanto ao significado atribuído a cada critério. Tal como se verifica entre os critérios usados nos periódicos, os critérios prescritos pelos entrevistados tendem a possuir significados distintos, de acordo com sua perspectiva de análise.

Pesquisa 3 - Critérios Utilizados por Referees no Brasil

Metodologia

O objetivo da terceira pesquisa foi compreender a avaliação de produção científica no Brasil. Isto foi feito por meio de um estudo de campo com uma amostra composta por 53 referees. Nortearam a pesquisa duas questões básicas: (a) quais são os critérios prescritos por esses referees, e quão homogênea é tal prescrição? e (b) quais as características do processo de avaliação?

A pesquisa foi realizada por meio de entrevistas pessoais em profundidade, realizadas com base em um questionário pré-estruturado, validado em um pré-teste e que incluía questões abertas e fechadas, de múltipla escolha, de ponderação e de pontuação.

A amostra foi definida a partir do universo de professores e pesquisadores da área de administração que atuam efetivamente como referees⁽¹¹⁾. Além deste requisito, procurou-se ter todas as áreas temáticas representadas na amostra e respeitar a proporcionalidade quanto a regiões e instituições de origem.

Resultados e Comentários - Grau de Importância e Grau de Homogeneidade

O primeiro resultado relevante diz respeito ao grau de importância dado pelos referees aos critérios de avaliação. Isto foi feito a partir de uma lista genérica de critérios, previamente preparada. Os referees podiam atribuir a cada critério uma das seguintes classificações de importância: alta (3 pontos), média (2 pontos), baixa (1 ponto), ou nenhuma (nenhum ponto). A compilação geral dos resultados pode ser vista no Gráfico 1, a seguir, onde os critérios são apresentados em ordem decrescente de importância.

Essa classificação revela a importância de cada critério para a amostra de referees⁽¹²⁾. Como exibe o gráfico, os critérios mais pontuados são, em ordem decrescente de importância: (a) consistência/coerência; (b) contribuição para o conhecimento; (c) atualidade/nível de informação; (d) rigor metodológico; e (e) concepção.

O segundo resultado relevante diz respeito ao grau de homogeneidade (ou consenso) na prescrição de critérios. Para analisar o nível de consenso entre os referees na prescrição de critérios, foi criada uma escala de homogeneidade. A criação de tal escala foi necessária para contemplar tanto a adoção quanto a rejeição de critérios.

A construção da escala foi realizada da seguinte forma: primeiro, tomou-se a mesma classificação de importância (alta, média, baixa ou nenhuma) utilizada anteriormente. Em seguida, foi feita uma contagem de quantos referees haviam assinalado uma mesma classificação para cada critério. Finalmente, estipulou-se então que: (a) um critério que recebesse a mesma classificação por mais de 60% dos referees apresentaria alta homogeneidade; (b) um critério que fosse prescrito com mesma classificação por 50 a 59% dos referees, apresentaria média homogeneidade; (c) um critério que fosse prescrito com mesma classificação por 40 a 49% dos referees apresentaria baixa homogeneidade; e (d) um critério que tivesse menos de 40% dos referees assinalando a mesma classificação apresentaria baixíssima homogeneidade.

Os resultados revelam que, em geral, é baixa a homogeneidade na prescrição de critérios pelos referees da amostra, indicando que há pouco consenso quanto ao modo de se avaliar a produção científica no campo (vide Quadro 3).

Apenas 31% dos critérios apresentam alta homogeneidade, sendo que quase 54% dos critérios apresentam baixa ou baixíssima homogeneidade. De forma geral, isso reforça a conjectura de que, no Brasil, o campo ainda se encontra em estado embrionário, e os referees que atuam como gatekeepers, utilizam com grande permissividade critérios e interpretações pessoais na avaliação de trabalhos.

O nível de homogeneidade na prescrição de critérios foi também ponderado em relação: (a) à área temática dos referees; (b) ao nível de inserção dos referees (no mundo acadêmico internacional); e (c) ao nível de experiência dos docentes (como referees).

Quando se cruza o nível de homogeneidade na prescrição de critérios entre os referees com as suas áreas temáticas, percebe-se que o nível de homogeneidade dentro de cada área temática tende a ser maior do que o nível de homogeneidade encontrado no total da amostra. Tal resultado poderia indicar que, no Brasil, a formação de mainstreams embrionários - ou seja, consensos quanto àquilo que é boa ou má produção científica - tende a ocorrer primeiro dentro de cada área temática, estendendo-se posteriormente à administração como um todo.

Já ao cruzar o nível de homogeneidade com o nível de inserção dos referees no mundo acadêmico internacional, vê-se que o nível de homogeneidade é maior entre os referees de maior nível de inserção do que entre aqueles com menor penetração no mundo acadêmico exterior. Percebe-se também que o nível de homogeneidade cresce com o nível de inserção dos referees. Pode-se especular que um motivo provável para essa tendência é que, quanto maior o nível de inserção dos referees, maior o nível em que eles incorporam critérios do mainstream dos países hegemônicos, aumentando desta forma a homogeneidade dos critérios prescritos.

Finalmente, ao cruzar o nível de homogeneidade com o nível de experiência (como referee) dos avaliadores, nota-se que a homogeneidade na prescrição de critérios entre referees não aumenta em função do nível de experiência de cada indivíduo como referee. Os dados mostram alta homogeneidade tanto entre os referees inexperientes quanto entre os muito experientes, com níveis médios entre os referees pouco experientes e experientes. Pode-se especular que tais resultados são compatíveis com um campo fragmentado e pouco consolidado como é o campo da administração no Brasil⁽¹³⁾.

Resultados - Processo de Avaliação

Além da análise da questão central do nível de homogeneidade, a pesquisa permitiu também avaliar outras características dos processos de avaliação de trabalhos acadêmicos no Brasil como (a) a prática do sistema de blind review; (b) a seletividade da avaliação; e (c) a adequação entre avaliador e trabalho avaliado.

Quanto à prática do sistema de blind review - sistema universalmente aceito como o mais apropriado à avaliação de trabalhos científicos - a pesquisa mostrou que 1 em cada 5 referees freqüentemente conhecem ou sempre conhecem a identidade do autor e/ou instituição de origem do avaliado. Tal situação reflete tanto uma disseminação ainda insuficiente do sistema, quanto suas limitações práticas. Há ainda de se considerar que, numa comunidade acadêmica ainda pequena como a brasileira, a identificação do avaliado pode se dar pelo tema tratado ou mesmo pelo estilo do trabalho.

Quanto à seletividade da avaliação, constatou-se, como se esperava, a consistência entre a opinião do entrevistado, quanto à eleição do melhor e do pior trabalho, e o índice de publicação ou apresentação: os melhores trabalhos são quase sempre publicados e inversamente, os piores trabalhos são geralmente recusados. Porém há de se registrar o índice relativamente alto de publicação ou apresentação alcançado pelos piores trabalhos (7,5%). Pode-se especular que este índice se relaciona tanto à heterogeneidade de critérios de julgamento entre referees, quanto a uma baixa seletividade dos outlets.

Quanto à adequação entre avaliador e tema avaliado, 40% dos referees reconheceram não ter grande familiaridade com os temas dos trabalhos que avaliaram. Este resultado choca-se com uma das premissas principais do sistema de blind review, que sugere que os avaliadores tenham visão ampla do campo no qual o trabalho avaliado se insere e conhecimento razoável sobre o tema tratado. Tal situação, pode-se supor, deve-se ao desenvolvimento ainda insuficiente do campo, o que resulta tanto em número reduzido de referees quanto em qualificação global insuficiente para fazer frente ao grau de variedade dos trabalhos que são avaliados.

PROPOSIÇÃO DE UM MODELO DE CRITÉRIOS

No início do trabalho postulamos a necessidade de uma reflexão sobre a qualidade da produção local em administração e sugerimos a adoção de critérios mais claros e objetivos para a avaliação dos trabalhos na área. Na seção precedente mostramos que os principais periódicos da área divulgam sua linha editorial e seus critérios. A interpretação destes critérios deve ser realizada à luz da linha editorial e da comunidade acadêmica na qual o periódico está inserido. Mostramos ainda que os principais formadores de opinião da comunidade acadêmica local apresentam visões e conceitos extremamente diversos quanto a que critérios prescrever. Finalmente, verificamos que o processo de avaliação de trabalhos científicos no país é marcado pela baixa homogeneidade na utilização de critérios e por importantes limitações práticas, quanto ao sistema de blind review, quanto à seletividade e quanto à adequação entre avaliador e tema avaliado.

Nesta seção, propomos um modelo de critérios para a avaliação da produção científica em administração no Brasil. Este modelo foi desenvolvido a partir: (a) dos critérios adotados pelos principais periódicos acadêmicos em administração; (b) dos critérios preconizados por nossos entrevistados; e (c) da posição dos autores.

O modelo de critérios proposto fundamenta-se nos seguintes postulados:

. primeiro, que existe um conjunto de critérios genéricos que podem ser usados para avaliar a pesquisa produzida no país, apesar da grande diversidade de perspectivas (tanto sobre à natureza da ciência quanto sobre a natureza da pesquisa em administração) existente no campo;

. segundo, que para lidar com a grande diversidade de pesquisas de naturezas distintas, é preciso relativizar o uso desses critérios, quanto à ênfase e ao sentido dado a cada um deles.

Definição dos Critérios e Categorias de Critérios do Modelo

O modelo proposto foi construído a partir da identificação de 19 critérios e seu agrupamento em 4 categorias: concepção e planejamento; metodologia e execução; conteúdo e resultados; forma e apresentação.

O Quadro 4, a seguir, traz definições sucintas de cada um dos critérios. As áreas hachuradas indicam a categoria à qual cada critério pertence. É conveniente observar que alguns critérios estão contidos em mais de uma categoria.

Examinamos na seqüência cada uma das categorias mencionadas.

Critérios de Concepção e Planejamento

Esta primeira categoria envolve todos os critérios que determinam a orientação e a estrutura da pesquisa. Critérios nesta categoria são utilizados para avaliar as principais escolhas que o pesquisador fez antes de começar seu trabalho. Tais escolhas constituem a base da concepção da pesquisa: a escolha do tema, a escolha da indagação (a pergunta de pesquisa a que o trabalho pretende responder) e a escolha da abordagem de pesquisa (como se pretende responder à pergunta).

Os demais critérios nesta categoria, tais como a pertinência da pesquisa, a durabilidade do estudo ou o nível em que é advocativo (até que ponto a pesquisa tem algo que dizer) derivam das escolhas iniciais.

Critérios de Metodologia e Execução

A segunda categoria de critérios é essencialmente técnica. Uma vez determinado o tema, a indagação e a abordagem da pesquisa, é preciso operacionalizá-la. Isto implica: (a) conceber um método apropriado e (b) realizar com eficácia e qualidade a pesquisa planejada.

Critérios de metodologia avaliam até que ponto o pesquisador construiu ou utilizou metodologia apropriada para responder à indagação feita. O critério de modelagem, por exemplo, procura julgar o modelo conceitual da pesquisa. O critério de rigor metodológico, por outro lado, procura avaliar se o pesquisador incluiu no planejamento do estudo parâmetros de controle, que buscassem verificar a validade dos resultados. Como um todo, os critérios de metodologia avaliam até que ponto, dada a concepção do estudo, a pesquisa se propõe fazer as coisas certas.

Critérios de execução abrangem os fatores que avaliam se a pesquisa fez certo o que deveria fazer. Ou, em outras palavras, se o pesquisador realizou o que foi planejado com eficácia e qualidade. O critério de eficácia de execução, por exemplo, procura avaliar se o pesquisador realizou efetivamente o que planejou fazer na modelagem, em toda a sua extensão.

O critério de atualização busca avaliar o nível de informação do pesquisador quanto ao tema e medir quão bem feita é a fundamentação teórica do estudo e quão relevantes são as referências utilizadas.

Por fim, o critério de qualidade da pesquisa procura avaliar o nível geral da pesquisa teórica e/ou empírica que o estudo se propõe realizar.

Critérios de Conteúdo e Resultados

Os critérios agrupados nesta terceira categoria envolvem o produto da pesquisa: seus argumentos e o conteúdo final, no caso de pesquisa teórica, ou seus resultados, no caso de pesquisa empírica. Cabe aqui o julgamento de valor da pesquisa.

O critério de coerência procura avaliar até que ponto o pesquisador consegue teorizar e sustentar consistentemente o seu argumento principal. Em trabalhos teóricos ou conceituais, esse critério está ligado à lógica da argumentação. Em trabalhos empíricos, conecta-se à relação entre a teoria utilizada, a metodologia empregada e a evidência coletada.

O critério de originalidade e inovação busca medir o nível de ineditismo do argumento, dos resultados ou das conclusões.

O critério de nível de surpresa busca medir até que ponto a pesquisa, ou seus resultados, geram impactos, ou se resultam no óbvio, no puramente intuitivo ou no esperado.

Os critérios de contribuição para a ciência e de utilidade para a pesquisa futura, mais aplicáveis à pesquisa de orientação cientificista, buscam avaliar o impacto do trabalho para o avanço do conhecimento.

Finalidade análoga tem o critério de utilidade prática, neste caso para pesquisas de orientação mais administrativista.

Critérios de Forma e Apresentação

A quarta categoria de critérios agrupa os requisitos mais plásticos - e não por isso menos importantes - do trabalho: sua forma final e os diversos elementos de sua apresentação.

O critério de concisão visa a avaliar a capacidade do pesquisador de sintetizar argumentos, resultados e conclusões.

O critério de legibilidade busca avaliar se a pesquisa é clara e inteligível, seja do ponto de vista formal (ortográfico e gramatical), seja no que tange a estilo.

O critério de atratividade do texto procura avaliar a capacidade do trabalho de prender a atenção do leitor. De fato, parece haver crescente consenso de que mesmo textos acadêmicos não precisam ser aborrecidos e enfadonhos.

Por fim, o critério de tamanho pretende avaliar a adequação do espaço utilizado em relação às características gerais do trabalho.

Relativizando o Modelo de Critérios

Definidos os critérios e as categorias de critérios, cabe agora discutir a questão da diversidade. Vimos em seção precedente que os critérios adotados pelos diversos periódicos, bem como o significado dado a cada critério, variam de acordo com a respectiva linha editorial.

A análise dos resultados e esta visão relativista dos critérios levam-nos a propor: primeiro, um diagrama para identificar a orientação dos periódicos e, conseqüentemente, os significados dos critérios de avaliação decorrentes; e segundo, um diagrama de relativização das categorias de critérios e dos próprios critérios.

Comecemos pelo diagrama de orientação dos periódicos. Tal diagrama é formado pelo cruzamento de dois eixos: o eixo vertical define o pressuposto de ciência, a partir do qual as teorias - ou linhas de trabalho - são desenvolvidas, da adoção total de pressupostos positivistas - no extremo superior - à negação absoluta desses pressupostos - no extremo inferior; o eixo horizontal define a orientação do desenvolvimento teórico - se está voltado para a construção de teoria, no extremo esquerdo; ou para a aplicação da teoria, no extremo direito.

No eixo horizontal temos um primeiro continuum, que vai do cientificismo (desenvolvimento de teoria) ao administrativismo (aplicação da teoria). O primeiro grupo é formado pelo conjunto de pesquisadores e publicações que crêem que o campo deve estar afastado da prática empresarial. Um argumento exemplar, neste sentido, é defendido por Brief e Dukerich (1991), que afirmam que a teoria no campo do comportamento organizacional pode ter valor prático mesmo que não seja útil no sentido mais restrito da palavra. O pressuposto é que tentativas de criar teorias úteis reduzem as possibilidades de desenvolvimento e podem obstruir o desenvolvimento do campo de estudos. No extremo oposto estão os pesquisadores que publicam, por exemplo, na Harvard Business Review, voltados quase exclusivamente para teorias - ou metodologias - de imediata aplicação prática.

No eixo vertical, temos um segundo continuum que vai da linha de produção positivista até a linha de produção não positivista. O primeiro grupo é formado por pesquisadores que adotam os pressupostos positivistas e buscam explicar os fenômenos organizacionais a partir da compreensão de relações de causalidade. Esse grupo faz uso intensivo de ferramentas estatísticas e testes de hipóteses. No outro extremo estão os pesquisadores que seguem uma linha de investigação de base antropológica-etnográfica.

A combinação dos dois eixos cria quatro quadrantes onde podem ser localizadas as várias publicações e linhas de pesquisa. Procuramos localizar no quadro abaixo os periódicos mais representativos de posições distintas no espectro de possibilidades de linhas de pesquisa.

Seguindo no sentido horário teríamos:

No quadrante A as publicações de linha administrativista-positivista. Estas publicações estão voltadas para linhas de pesquisa preocupadas com a aplicação prática dos conceitos. Entre os periódicos de linha positivista-administrativista, o exemplo mais significativo é a Harvard Business Review. Orientada para um público de executivos e consultores, esta publicação tem como grande foco divulgar conhecimento aplicável. Ainda no quadrante A, porém relativamente menos positivistas e menos administrativistas que a Harvard Business Review, estão o Journal of Information Science e o Management Information Systems Quarterly.

No quadrante B estão as publicações que representam o mainstream da pesquisa acadêmica americana. Estas publicações apresentam diferentes graus de adoção do cientificismo e da base positivista. Neste quadrante, os exemplos quintessenciais de uma postura cientificista-positivista são a Administrative Science Quarterly e a Academy of Management Journal. Ainda no mesmo quadrante encontram-se a Academy of Management Review e a Management Studies.

No quadrante C está a maioria das publicações alternativas, voltadas para pesquisa acadêmica mas utilizando a abordagem etnográfica ou suas variantes. Nesse quadrante surgem as publicações representativas do cientificismo-não positivista. As representantes mais significativas dessa linha são o Journal of Management Studies, editado no Reino Unido, e a também européia Organization Studies.

Finalmente, no quadrante D, administrativista-não positivista, poderíamos localizar duas das publicações brasileiras mais tradicionais: a Revista de Administração da USP e a Revista de Administração de Empresas. Porém, essa classificação não se faz sem problemas. A primeira questão a ser levantada são as mudanças de linha editorial ao longo do tempo. A segunda questão diz respeito ao amplo espectro de linhas de pesquisas publicadas nestas duas revistas. Por isso, edições diferentes podem ser classificadas diferentemente, assim como em uma mesma edição são publicados artigos de orientações diversas.

Como foi observado anteriormente, um modelo de requisitos que pretenda ser utilizado na avaliação de pesquisa acadêmica em administração terá, necessariamente, de atender à grande variedade de perspectivas existente no campo. Portanto é preciso relativizar tanto a escolha dos critérios quanto a ênfase e o sentido dados a cada critério. Assim, devem variar os critérios a serem utilizados para avaliar a pesquisa; deve variar a ênfase dada a cada critério; e deve variar o sentido dado a cada critério.

O ^{Diagrama 2} apresenta as diferentes ênfases a serem dadas por diferentes perspectivas de pesquisas para cada uma das quatro categorias de critérios.

CONCLUSÕES

Neste trabalho procuramos debater a produção científica em administração. Como primeiro passo, vimos como a produção brasileira em administração é de qualidade duvidosa e pouco original, fortemente influenciada por uma visão de mundo organicista (própria da teoria dos sistemas) e de inclinação funcionalista. Como agravante, poderíamos argumentar que nem sequer escolhemos bem essas influências. Parte considerável da nossa produção acadêmica adota como referências obras de autores americanos de foco gerencialista e qualidade duvidosa, mais próprios de livrarias de aeroportos que de bibliotecas universitárias. Isto se dá em detrimento de autores e obras mais instigantes e consistentes, produzidas em centros mais importantes, sejam estes pólos mais ligados ao establishment ou de inclinação mais de vanguarda.

Advogamos que o fortalecimento do campo da administração no Brasil requer critérios mais claros e bem definidos, ainda que se respeite a diversidade e multiplicidade de abordagens. Após o crescimento quantitativo, torna-se importante desenvolver a reflexão em prol da qualidade.

Torre de Babel

Em trabalho recente, Burrell (1996) analisa o "estado das coisas" no campo da análise organizacional. Para refletir a condição de desagregação (não necessariamente negativa) nesta área de pesquisa, o autor retoma a história da Torre de Babel que, aqui, se toma emprestada para fim semelhante. A história da Torre de Babel é muitas vezes utilizada para explicar a origem das diferentes línguas faladas pela humanidade. O objetivo dos construtores era fazer um templo tão alto quanto suas aspirações de rivalizar com o Criador em poder. Conta-se que Deus ficou descontente com a humanidade por tão petulante iniciativa, dispersando os construtores pelos quatro cantos da Terra, numa diáspora que os impediu de falar uns aos outros. A diáspora levou à divisão dos construtores em grupos rivais. O surgimento das diferentes línguas veio como conseqüência da diáspora, e não como causa dela, como a história é, vez por outra, erroneamente contada.

Voltando ao campo da análise organizacional, o importante, como sublinha Burrell (1996), é o projeto comum, não a linguagem comum. A multiplicação das línguas, é conveniente enfatizar, surgiu do fim das atividades comuns e não o contrário. Como vimos neste artigo, o campo de estudo da administração de empresas no Brasil encontra-se em estágio de desenvolvimento embrionário, distante ainda da fase de consolidação. O número de periódicos e de artigos publicados cresce ano a ano. Por outro lado, não escapa ao observador mais cuidadoso a baixa qualidade e a pequena relevância do que é produzido, tanto para a prática quanto para a teoria administrativa.

Entendemos que a parábola da Torre de Babel, se tomada como metáfora para a situação retratada pelo presente estudo, pode representar um alerta contra a falta de projeto comum. No Brasil, como em outras partes do mundo, a administração está em fase de construção teórica que deve ser vista como preliminar. Se o que ocorre entre nós pode ser abordado mediante a metáfora bíblica da Torre de Babel, devemos assinalar que Burrell (1996) a utilizou referindo-se aos centros mais fecundos e normalmente formadores de opiniões e de tendências.

Não deve surpreender que a produção científica brasileira padeça dos mesmos problemas que estão contidos na Torre de Babel, agravados ou mitigados, dependendo do ponto de vista, pelas peculiaridades de nosso meio e de nossa tradição. Mas convém explicitar as diferenças: enquanto nos centros mais desenvolvidos se vive um momento de aumento da pluralidade (uma Babel própria do modernismo em suas fases mais avançadas), que seguiu um período no qual as condições mínimas de sustentação do campo foram criadas, no Brasil vive-se um momento mais caracterizado pelo caos endêmico (uma Babel pré-moderna, talvez). Tal situação, embora pareça pluralista, não é muito mais que a proliferação, mais ou menos aleatória e sem propósito, de trabalhos de qualidade duvidosa.

Gatekeeping: o Discurso contra a Diversidade

Há alguns anos, Pfeffer (1993) publicou um polêmico artigo na Academy of Management Review. Neste trabalho, ele procurava analisar as barreiras ao avanço do que denomina ciência organizacional. Seu argumento era que os valores praticados no campo de estudo, enfatizando representatividade, inclusão e diversidade teórica e metodológica o tornaram paradigmaticamente fraco. A prática destes valores teria levado à proliferação descontrolada de teorias, termos, conceitos e medidas. As conseqüências, negativas para o desenvolvimento do campo, vão desde barreiras para obter recursos até a dificuldade para realizar pesquisas colaborativas. Para reverter a situação, Pfeffer (1993) advogava uma solução trazida de outros campos de estudo: a formação de uma densa rede de pesquisadores que partilhassem uma visão unificada sobre o desenvolvimento do campo. Tal rede imporia seus pontos de vista sobre o campo, tornando-o, com o tempo, paradigmaticamente forte. É o conhecido conceito de fortalecimento de gatekeeping.

A ousada posição de Pfeffer (1993) teve forte oposição no campo. A própria AMR, um ano mais tarde, publicou uma resposta à sua proposta. Os autores, Cannella Jr. e Paetzold (1994), argumentam que o consenso forçado não fortaleceria o campo, mas, pelo contrário, constituiria obstáculo ao seu desenvolvimento.

Este argumento, da pluralidade, é defendido por pesquisadores de diferentes linhas de pesquisa. Jeffcut (1994), ex-presidente da Standing Conference on Organizational Symbolism, propõe uma acentuação da pluralidade, que tornaria os estudos organizacionais ainda mais multidisciplinares e multiculturais.

Mesmo que se recuse o gatekeeping de Pffefer (1993), por estar estreitamente vinculado a uma concepção de construção de conhecimento dentro de um paradigma de normal science, não se pode confundir uma posição de defesa da pluralidade de abordagens, portanto da diversidade, com a tolerância por trabalhos de baixa qualidade. Acreditamos ser necessário conciliar critérios que busquem preservar a qualidade, mesmo que dentro de uma pluralidade de abordagens e de modelos científicos. É possível produzir bons e maus trabalhos, tanto num referencial neopositivista, como interpretacionista. É possível produzir bons e maus trabalhos, tanto numa perspectiva cientificista como gerencialista. O gatekeeping deve fazer com que a tolerância com diversidade e pluralidade não seja tolerância para com qualidade duvidosa.

Produção Científica em Administração e a Profissão Acadêmica

Não se pode deixar de vincular a qualidade da produção científica em administração no país com as peculiaridades da profissão acadêmica entre nós. Se entendermos a profissão acadêmica como atividade de tempo integral, com vinculação institucional exclusiva e dedicação ao ensino e à pesquisa, constatamos que a profissão no Brasil é tão somente emergente. Poucas são as pessoas que preenchem os requisitos enunciados e mesmo entre aqueles que a ela se dedicam o equilíbrio entre docência, pesquisa, publicações, orientação de alunos de pós-graduação e participação em atividades acadêmicas nacionais e internacionais raramente existe.

A profissão acadêmica entre nós ainda se caracteriza pela docência, que é o centro das obrigações contratuais e que de fato acaba absorvendo a maior parte, quando não a totalidade do tempo dos profissionais da academia. Os que pesquisam e publicam são escassa minoria.

O fato de que a maioria dos profissionais acadêmicos entre nós trabalhe realmente em regime de tempo parcial, cuja atividade acadêmica tem papel supletivo ou complementar na vida profissional do indivíduo, também pode auxiliar na explicação da baixa relevância que pesquisar e publicar tem em suas vidas profissionais.

Na verdade, atividades de consultoria, de treinamento e o exercício de cargos executivos, em empresas privadas ou no setor público, acabam sendo limitadores sérios da atividade de estudo, reflexão, pesquisa e publicação. Não há como negar a importância e a relevância de tais atividades no campo da administração, nem como desprezar seu impacto positivo sobre a atividade docente, à medida que experiências concretas são trazidas para a sala de aula.

Porém não há como negar o fato de que sendo o tempo uma dimensão limitada, pouco resta para estudar, pesquisar e publicar em agendas fundamentalmente ocupadas com atividades de tipo profissionalizante. Poder-se-ia ainda observar que pessoas fundamentalmente envolvidas com atividades profissionalizantes e com profundos vínculos executivos ou de consultoria com organizações diversas podem perder o recuo crítico indispensável ao pesquisador e produtor de conhecimentos científicos.

Não se pode deixar de observar que os sete programas de pós-graduação stricto sensu, que recentemente obtiveram a pontuação máxima na avaliação da CAPES, estão em áreas onde o mercado de trabalho é quase exclusivamente a academia, como física teórica, astrofísica, astronomia e história social, entre outros.

Os campos de conhecimento aplicados, onde a academia é o mercado de trabalho, são quase sempre os que pior remuneram e onde a atração exercida por atividades profissionalizantes se apresenta como mais sedutora. São também os que acabaram recebendo uma avaliação inferior. Casos típicos são administração e a longa lista de programas de pós-graduação em medicina, onde não se encontra sequer uma nota 7, demonstração inequívoca de que clínicas, hospitais, consultórios, empresas e firmas de consultoria são mais atraentes do que as atividades de docência e pesquisa em pós-graduação.

Visto que a avaliação da CAPES também inclui a produção científica dos cursos, e o modelo de união entre ensino e pesquisa foi o adotado desde o início na pós-graduação brasileira, as dificuldades encontradas neste trabalho com a qualidade e os critérios usados para decidir sobre a produção de conhecimentos científicos em administração entre nós, apontam para problemas nos cursos de mestrado e doutorado. Se artigos e trabalhos apresentados em reuniões científicas, como o ENANPAD, e publicados nos nossos outlets, têm em boa medida origem em programas de pós-graduação stricto sensu, há aqui clara indicação de que os conteúdos programáticos, estruturas e critérios de julgamento também podem ser interessantes fontes para a explicação dos problemas de qualidade e mesmo de relevância do que é produzido.

Outra consideração interessante é que a administração não se beneficiou de um período de gestação, que beneficiou outras ciências sociais. Não se pode negar que a economia, a psicologia e a sociologia se desenvolveram muito mais enquanto áreas de conhecimento do que a administração.

Antes de economistas se dedicarem a questões aplicadas, que envolvem política econômica e assessoria de organizações públicas e privadas, a academia foi durante dois séculos seu local exclusivo. Na verdade é apenas com J. M. Keynes, em nosso século, que os economistas abandonam a academia como morada exclusiva para habitar ministérios e outras organizações. No caso da psicologia e da sociologia, em grau diverso, as mesmas observações são válidas.

Já no caso da administração, percebe-se que administradores sempre foram chamados a solucionar problemas organizacionais, sem que houvesse tempo para que se criasse um espaço teórico e reflexivo. Essa é uma das formas de se explicar a proliferação de modismos, resultado inevitável da pressão por soluções acompanhada da falta de teorias e conhecimentos, que indiquem o que fazer e possam explicar as razões daquilo que vem ocorrendo.

Se aceitarmos a boutade de que nada há de mais prático do que uma boa teoria e que a abundância de modismos explicativos é a outra face da pobreza teórica, dificilmente encontraremos outra área de conhecimento em que isto seja tão sentido como em administração.

Expectativas de Desdobramentos para o Trabalho

Esperamos com esta pesquisa a reflexão e o debate sobre a qualidade da produção científica em administração no Brasil. Pretendemos estimular pesquisadores e educadores à reflexão sobre as formas, os limites e os critérios pelos quais produzimos e julgamos conhecimento científico no campo em nosso país. Compartilhamos a crença de que nós, pesquisadores na área de administração no Brasil, temos apenas duas alternativas, não necessáriamente excludentes, para mudar o quadro desanimador que descrevemos acima: ou nos orientamos para desenvolver conhecimento local, que estrangeiros dificilmente poderiam produzir, reproduzir ou emular; ou nos orientamos para uma maior inserção no circuito internacional como colaboradores da construção de conhecimento mundial no campo, procurando melhorar significativamente a qualidade de nossa produção.

Nosso desejo é ver do debate e da reflexão aqui propostos florescerem maior qualidade e maior significância de nosso campo. Nossa expectativa é de que se produzam alterações concretas, como a reversão da tendência de permissividade que cerca nossos programas de pós-graduação; que faz de defesas de dissertação e teses eventos constrangedores; que faz com que em nossos congressos, os eventos sociais sempre superem em foco e importância as apresentações de trabalhos; e que faz de nossas publicações motivo de júbilo para os que editam e para os que nela publicam, e motivo de tédio para os que as tentam ler. O porte de nosso aparato acadêmico e o número de mestres e doutores em atividade no país já exigem que tenhamos maior presença na comunidade local e na comunidade internacional.

NOTAS

Carlos Osmar Bertero, é Doutor pela Cornell University, USA, e Mestre em Administração pela Michigan State University, USA. Professor Titular do Departamento de Administração Geral e Recursos Humanos da Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas. Suas áreas de interesse em pesquisa são análise organizacional e estratégia empresarial.

Endereço: Rua Agariba, 89, 05053-010, São Paulo, SP, Brasil. E-mail: [e-mail]

Miguel Pinto Caldas , é Doutor e Mestre em Administração pela Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas. Professor do Departamento de Administração Geral e Recursos Humanos da Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas, além de Consultor da Arthur Andersen. Suas áreas de interesse em pesquisa são mudança e design organizacional, teoria das organizações e pesquisa/ensino de administração.

Endereço: Fundação Getúlio Vargas - FGV, Escola de Administração de Empresas de São Paulo - EAESP, Av. 9 de Julho, 2029, Bela Vista, 01313-902, São Paulo, SP, Brasil. E-mail: [e-mail]

Thomaz Wood Jr. , é Doutor e Mestre em Administração pela Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas. Professor do Departamento de Administração Geral e Recursos Humanos da Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas, além de Consultor da Arthur Andersen e Colaborador da revista Carta Capital. Suas áreas de interesse em pesquisa são mudança organizacional e análise cinematográfica das organizações.

Endereço: Fundação Getúlio Vargas - FGV, Escola de Administração de Empresas de São Paulo - EAESP, Av. 9 de Julho, 2029, Bela Vista, 01313-902, São Paulo, SP, Brasil. E-mail: [e-mail]

• BERTERO, C. O.; KEINERT, T. M. M. A evolução da análise organizacional no Brasil. Revista de Administração de Empresas, v. 34, n. 3, p. 81-90, 1994.
• BRIEF, A. P.; DUKERICH, J. M. Theory in organizational behavior : can it be useful? Research in Organizational Behavior, v. 13, p. 327-352, 1991.
• BURRELL, G. Normal science, paradigms, metaphors, discourses and genealogies of analysis. In: CLEGG, S. R.; HARDY, C.; NORD, W. (Eds.). Handbook of organization studies London : Sage, 1996.
• BURRELL, G.; MORGAN, G. Sociological paradigms and organizational analysis London : Heinemann, 1979.
• CANNELLA JR., A. A.; PAETZOLD, R. L. Academy of Management Review, v. 19, n. 2, p. 331-341, 1994.
• CARRIERI, A. P.; LUZ, T. R. Paradigmas e metodologias : não existe pecado do lado de baixo do Equador. In: XXII ENCONTRO ANUAL DA ANPAD (1998 : Foz do Iguaçu). Anais Eletrônicos.. Foz do Iguaçu : ANPAD, 1998.
• DURHAM, E. R. Uma política para o ensino superior brasileiro : diagnóstico e proposta. Documento de trabalho do NUPES/USP, São Paulo, 1998.
• HOPPEN, N. Sistemas de informação no Brasil: uma análise dos artigos científicos dos anos 90. Revista de Administração Contemporânea, v. 2, n. 3, p. 151-177, set./dez. 1998.
• JEFFCUT, P. The interpretation of organization : a contemporary analysis and critique. Journal of Management Studies, v. 31, n. 2, p. 225-250, 1994.
• MACHADO-DA-SILVA, C. L.; CUNHA, V. C. DA; AMBONI, N. Organizações : o estado da arte da produção acadêmica no Brasil. In: XIV ENCONTRO ANUAL DA ANPAD (1990 : Florianópolis). Anais.. Florianópolis : ANPAD, 1990. v. 6. p.11-28.
• MARTINS, G. Epistemologia da pesquisa em administração. In: XX ENCONTRO ANUAL DA ANPAD (1996 : Angra dos Reis). Anais.. Rio de Janeiro : ANPAD, 1996.
• MORGAN, G. Images of organization London : Sage, 1986.
• PFEFFER, J. Barriers to the advance of organizational science : paradigm development as a dependent variable. Academy of Management Review, v. 18, n. 4, p. 599-620, 1993.
• SAMPAIO, H. O ensino superior privado : tendências de uma década. São Paulo : NUPES/USP, 1996.
• VERGARA, S. C.; CARVALHO JR., D. S. Nacionalidade dos autores referenciados na literatura brasileira sobre organizações. Revista Brasileira de Administração Contemporânea, v. 1, n. 6, p. 169-188, 1995.
• VIEIRA, F. G. D. Por quem os sinos dobram? uma análise da publicação científica na área de marketing do ENANPAD. In: XXII ENCONTRO ANUAL DA ANPAD (1998 : Foz do Iguaçu). Anais Eletrônicos.. Foz do Iguaçu : ANPAD, 1998.

1

Este trabalho originou-se de pesquisa financiada pelo NPP - Núcleo de Publicações e Pesquisas da EAESP/FGV. O relatório completo da pesquisa tem o título Critérios de Avaliação de Produção Científica em Administração no Brasil.

2

É conveniente observar que este debate não é exclusivo do Brasil. Nos Estados Unidos, por exemplo, a

Academy of Management Review - AMR (1989) publicou interessante

fórum sob o tema

o que constitui contribuição teórica? e a

Administrative Science Quarterly (1995) dedicou uma edição à questão

o que não é teoria?. Um novo

fórum da AMR revisitando a questão está programado para ser publicado ainda em 1999. Estes debates mostram como o campo da administração, vez por outra, mira-se no espelho e pergunta-se quão belo é, ou quão belo poderia (ou deveria) ser.

3

A implantação e o desenvolvimento dos programas de pós-graduação no Brasil, e o modelo adotado, podem ser diretamente relacionados à produção de conhecimento científico. O modelo universitário proposto e seguido até hoje entre nós é o germânico. Tal modelo aqui chegou com a Reforma Universitária de 1968 e parte da união indissolúvel entre ensino e pesquisa. A universidade modelar deve preferencialmente ensinar os conhecimentos que gerou através da pesquisa e não limitar-se a simplesmente transferir o que outros produziram. Por mais distante da realidade que seja hoje este modelo, ele ainda não foi formalmente questionado ou alterado.

4

Nota 7 foi o grau máximo adotado pela CAPES, só atribuído a programas que pudessem ser indiscutivelmente considerados de

nível mundial.

5

É o que provavelmente explica a presença de alemães num universo cultural como o nosso, onde a língua alemã é pouco conhecida e lida por muito poucos, mas onde autores como Weber, Marx, Simmel, Habermas, Adorno, Nietzche, Freud e Jung são freqüentemente referidos como formuladores de teorias.

6

Cabe observar que os referidos autores limitaram sua pesquisa à Revista de Administração de Empresas (RAE) e que a análise de outras fontes talvez apresentasse resultados diferentes.

7

Foram considerados somente os critérios

explicitamente publicados; ou seja, não foram inferidos critérios a partir do conhecimento prévio dos autores a respeito de determinada publicação e de sua linha editorial.

8

Vejamos um exemplo: tanto a HBR quanto a ASQ requerem como critério a

explicitação da contribuição. Para a HBR este critério significa "deixar clara qual a contribuição para a prática administrativa". Para a ASQ este critério significa "deixar clara qual a contribuição para o avanço do conhecimento".

9

Dos 20 periódicos pesquisados, 14 publicavam pelo menos uma breve missão, diretriz editorial ou declaração de propósitos; dos 6 que não o faziam, 3 indicavam onde tal descrição poderia ser encontrada.

10

Este argumento, aplicado à situação brasileira, ajuda a explicar a indefinição e a falta de critérios de publicação no campo da administração. Sendo um campo ainda pouco desenvolvido, falta-lhe base institucional mais sólida.

11

O universo de

referees foi obtido por meio de consulta à base de avaliadores nos últimos cinco anos em cada um dos periódicos de administração no Brasil, bem como pela consulta aos anais dos encontros da ANPAD no mesmo período.

12

É importante observar que a simples hierarquização desses critérios pelo número de citações pode não ser suficiente para entender os fatores de avaliação efetivamente prescritos e utilizados. Esta afirmação justifica-se pelo seguinte: embora muitos docentes citem nominalmente alguns critérios, o significado a eles atribuído pode variar significativamente.

13

Uma possível explicação para o resultado da relação entre experiência e homogeneidade de critérios pode ser justamente a de trajetórias pessoais dos indivíduos nesse campo fragmentado: nesse tipo de explicação, poder-se-ia estabelecer a hipótese que, ao começar a atuar como

gatekeeper no campo (

referee inexperiente), o indivíduo tenda a usar critérios consagrados do campo, tal como prescritos em países e

outlets hegemônicos. À medida que ganha experiência, e sem a resistência e pressão para convergência que um

mainstream produziria, o indivíduo passa a usar critérios próprios, derivados de sua experiência pessoal; e, por fim, ao ganhar larga experiência, pode-se presumir que a convergência e isomorfismo tendam a ocorrer pelo maior nível de inserção do

referee no meio acadêmico local.

Datas de Publicação

• Publicação nesta coleção
  24 Abr 2009
• Data do Fascículo
  Abr 1999