Acessibilidade / Reportar erro

Recompensas em organizações: abordagens de pesquisa e padrões de citação utilizados no Brasil

Recompensas en organizaciones: enfoque de investigación y citaciones utilizadas en Brasil

Organizational rewards: research methods and citation patterns used in Brazil

Resumos

Este artigo utiliza indicadores de produção e de citação para aprofundar o conhecimento da produção acadêmica sobre recompensas em organizações no Brasil. O estudo levantou, nas 101 publicações identificadas em 24 periódicos indexados de Psicologia e Administração e em três anais de eventos destas áreas, os autores mais produtivos, suas afiliações institucionais e as abordagens de pesquisa utilizadas. Das 101 publicações, sessenta são artigos com texto completo e 41 resumos publicados em anais de eventos. Nos artigos com textos completos foram identificados também a constituição, a origem e os padrões das citações utilizadas. Compiladas, essas informações ajudam a compreender o estágio de desenvolvimento do construto no Brasil. O artigo também apresenta implicações destas análises para a pesquisa relacionada a recompensas em organizações.

recompensa; bibliometria; organizações


Este artículo utiliza el análisis bibliométrico, con indicadores de producción y de citaciones, para profundizar el conocimiento sobre la producción académica de recompensas en organizaciones en Brasil, publicada entre 2000-2011. Este trabajo de investigación localizó, en las 101 publicaciones encontradas en 24 periódicos de Psicología y Administración y en tres anales de eventos de estas áreas, los autores más productivos, sus afiliaciones institucionales y el enfoque de investigación utilizado. De las 101 publicaciones, sesenta son artículos completos y 41 son resúmenes publicados en anales de eventos. En los artículos completos fueron identificados la constitución, el origen y el tipo de citaciones utilizadas. Compiladas, esas informaciones ayudan a comprender en qué etapa de desarrollo está este constructo en Brasil. El artículo también presenta las implicaciones de este análisis para las investigaciones sobre recompensas en organizaciones.

recompensa; bibliometría; organizaciones


This paper uses bibliometric indicators to increase the understanding of academic production about organizational rewards in Brazil. The search of the term "rewards"; in 24 Psychology and Business Administration journals and three conference proceedings of these areas returned 101 publications. From these publications, the study presents the most productive authors, their institutional affiliations, and research approaches used. Of the 101 publications, 60 are full-text articles and 41 are abstracts published in the conference proceedings. From the 60 full-text articles this paper also identified the constitution, origin and pattern of citations. This information helps the scientific community to understand the stage of the construct development in Brazil. The article also discusses implications of these analyzes for further research of rewards in organizations.

rewards; bibliometry; organizations


Recompensas em organizações: abordagens de pesquisa e padrões de citação utilizados no Brasil

Organizational rewards: Research methods and citation patterns used in Brazil

Recompensas en organizaciones: Enfoque de investigación y citaciones utilizadas en Brasil

Andrea Valéria Steil; Thaís Cristine Farsen; Carolina Esteves Garcia; María Alejandra Maldonado Bonilla

Universidade Federal de Santa Catarina

RESUMO

Este artigo utiliza indicadores de produção e de citação para aprofundar o conhecimento da produção acadêmica sobre recompensas em organizações no Brasil. O estudo levantou, nas 101 publicações identificadas em 24 periódicos indexados de Psicologia e Administração e em três anais de eventos destas áreas, os autores mais produtivos, suas afiliações institucionais e as abordagens de pesquisa utilizadas. Das 101 publicações, sessenta são artigos com texto completo e 41 resumos publicados em anais de eventos. Nos artigos com textos completos foram identificados também a constituição, a origem e os padrões das citações utilizadas. Compiladas, essas informações ajudam a compreender o estágio de desenvolvimento do construto no Brasil. O artigo também apresenta implicações destas análises para a pesquisa relacionada a recompensas em organizações.

Palavras-chave: recompensa; bibliometria; organizações.

ABSTRACT

This paper uses bibliometric indicators to increase the understanding of academic production about organizational rewards in Brazil. The search of the term "rewards"; in 24 Psychology and Business Administration journals and three conference proceedings of these areas returned 101 publications. From these publications, the study presents the most productive authors, their institutional affiliations, and research approaches used. Of the 101 publications, 60 are full-text articles and 41 are abstracts published in the conference proceedings. From the 60 full-text articles this paper also identified the constitution, origin and pattern of citations. This information helps the scientific community to understand the stage of the construct development in Brazil. The article also discusses implications of these analyzes for further research of rewards in organizations.

Keywords: rewards; bibliometry; organizations.

RESUMEN

Este artículo utiliza el análisis bibliométrico, con indicadores de producción y de citaciones, para profundizar el conocimiento sobre la producción académica de recompensas en organizaciones en Brasil, publicada entre 2000-2011. Este trabajo de investigación localizó, en las 101 publicaciones encontradas en 24 periódicos de Psicología y Administración y en tres anales de eventos de estas áreas, los autores más productivos, sus afiliaciones institucionales y el enfoque de investigación utilizado. De las 101 publicaciones, sesenta son artículos completos y 41 son resúmenes publicados en anales de eventos. En los artículos completos fueron identificados la constitución, el origen y el tipo de citaciones utilizadas. Compiladas, esas informaciones ayudan a comprender en qué etapa de desarrollo está este constructo en Brasil. El artículo también presenta las implicaciones de este análisis para las investigaciones sobre recompensas en organizaciones.

Palabras clave: recompensa; bibliometría; organizaciones.

O objetivo deste artigo é aprofundar o conhecimento acerca da produção acadêmica sobre recompensas em organizações no Brasil. O estudo utiliza elementos da abordagem bibliométrica (Cronin, 1984), a qual tem sido crescentemente utilizada para o estudo da comunicação acadêmica em diversas áreas do conhecimento.

No Brasil, a análise da produção acadêmica tem se mostrado relevante para a sistematização dos conhecimentos produzidos nacionalmente. Há vários exemplos de análises da produção científica nacional. Em gestão, os exemplos incluem a área de Recursos Humanos (Caldas & Tinoco, 2004; Tonelli, Caldas, Lacombe, & Tinoco, 2003); Cultura Organizacional em Contabilidade (Santos, Rengel, & Machado, 2012); Administração da Informação (Graeml & Macadar, 2010) e Teoria Institucional (Neto & Colauto, 2010). Recentemente, esse tipo de análise também suscitou atenção nas áreas Interdisciplinares e na Psicologia. Exemplos nessas áreas incluem: Competências no trabalho (Brandão, 2007); Psicologia Organizacional e do Trabalho (Borges-Andrade & Pagotto, 2010); Aprendizagem Organizacional (Antonello & Godoy, 2009; Loiola & Bastos, 2003); Recompensas em organizações (Steil, Garcia, Farsen, & Bonilla, 2014); entre outros.

O construto recompensas em organizações tem sido investigado desde 1930, estimulado primordialmente por dois fatores. O primeiro foi a necessidade das organizações manterem padrões de produtividade na então sociedade industrial (Kressler, 2003). À época, as indústrias estimulavam empregados para o alcance de metas de produtividade. Quando as mesmas eram alcançadas, os empregados recebiam aumento de salário, prêmios, bônus e outros incentivos. O segundo fator foi o surgimento das abordagens motivacionais de Maslow e Herzberg (Kressler, 2003). O construto motivação veio a se consolidar como um conjunto de forças "que se originam tanto no sujeito quanto para além do sujeito, para se iniciar um comportamento relacionado ao trabalho e para determinar a sua forma, direção, intensidade e duração"; (Pinder, 1998, p. 11). Desde suas origens, portanto, as recompensas são utilizadas em organizações como mecanismos para o estímulo, encorajamento e direcionamento da ação humana em organizações (Guzzo, 1979).

Kohn (1999) argumenta, entretanto, que as recompensas não são adequadas para o direcionamento de mudanças relacionadas ao desempenho no trabalho. Seu posicionamento é o de que as recompensas podem apenas estimular a submissão (compliance) temporária às regras organizacionais, pois quando a recompensa é retirada, as pessoas tendem a retornar aos seus comportamentos antigos. Isso ocorreria porque as recompensas não seriam suficientes para alterar as atitudes subjacentes aos comportamentos. Elas apenas teriam condições de mudar temporariamente as ações em organizações (Kohn, 1999). O argumento de Kohn (1999) é consistente, entretanto estudos empíricos longitudinais precisam ser ainda realizados para verificar se as evidências empíricas apoiam seu argumento.

Atualmente, o construto recompensas em organizações tem sido definido a partir de uma perspectiva estrita ou ampla (Steil et al., 2014). No sentido estrito, recompensas dizem respeito aos retornos financeiros que um funcionário recebe da organização na qual trabalha, como remuneração (fixa e variável) e benefícios (Milkovich, Newman, & Gerhart, 2011; Mitlacher, 2011). No sentido amplo, as recompensas têm sido compreendidas como os fatores que o empregado valoriza na relação empregado-empregador e que podem ser oferecidos a este pela organização (O´Neal, 1998) como uma troca pelo seu trabalho (Bratton & Gold, 2003), tempo, esforço, talento e resultados (WorldatWork, 2007). Na perspectiva ampla, as recompensas envolvem, consequentemente, retornos de natureza financeira, não financeira e psicológica (Tornikoski, 2011). Exemplos incluem elementos intangíveis, como o exercício de responsabilidade, as oportunidades de carreira, de aprendizagem e de desenvolvimento, a motivação intrínseca estimulada pelo trabalho em si, a qualidade de vida no trabalho proporcionada pela organização, entre outros (Thompson, 2002). A perspectiva ampla é a que mais tem gerado pesquisas empíricas (Bratton & Gold, 2003; Henderson, 1989).

Estudos recentes têm investigado empiricamente a relação entre recompensas e motivação, desempenho, cultura organizacional, estrutura organizacional, políticas de gestão de pessoas, entre outros (Chiang & Birtch, 2006; Steil et al., 2014). Dado o estado da arte atual sobre as pesquisas sobre recompensas, e para o alcance dos objetivos traçados para este artigo, o mesmo está assim estruturado. Após esta seção, discorre-se sobre a utilização da bibliometria para o mapeamento de um campo científico. Logo após detalha-se o percurso metodológico e apresentam-se os resultados: autores mais produtivos e suas afiliações institucionais; a questão da autoria individual e colaboração na pesquisa; as abordagens de pesquisa utilizadas; e a análise das citações utilizadas pelos artigos. O artigo finaliza com uma síntese das contribuições para a comunidade científica nacional.

Análise bibliométrica

A bibliometria, ou análise bibliométrica, é uma disciplina que possui métodos para descrever e analisar o estado do conhecimento científico a partir de fontes bibliográficas (Vanti, 2002). Uma análise bibliométrica pode ser realizada em nível macro, intermediário ou micro. O nível macro envolve o mapeamento de campos científicos como um todo em um país ou o posicionamento de um país frente a outros países. O nível intermediário analisa a pesquisa no nível de grandes instituições, como universidades e institutos de pesquisa. Por fim, o nível micro mapeia a produção científica nos departamentos, grupos de pesquisa e programas entre universidades e entre grandes instituições (Kobashi & Santos, 2006). Os indicadores bibliométricos permitem, portanto, situar um país com relação aos demais, uma instituição com relação a um país ou a outras instituições, assim como situar pesquisadores individuais frente à comunidade científica de sua especialidade (Okubo, 1997).

Uma bibliometria pode gerar diferentes indicadores, os quais são frequentemente usados em conjunto (Okubo, 1997). Eles podem ser divididos em indicadores de produção, de citação e de ligação (Macias-Chapula, 1998). Os indicadores de produção são desenvolvidos por meio da contagem do número de publicações por tipo de documento, por instituição, área de conhecimento, país ou região. Os indicadores de citação são construídos por meio da contagem do número de citações recebidas por uma publicação. Por fim, os indicadores de ligação "são construídos pela co-ocorrência de autoria, citações e palavras, sendo aplicados na elaboração de mapas de estruturas de conhecimento e de redes de relacionamento entre pesquisadores, instituições e países"; (Kobashi & Santos, 2006, p. 32-33). Com relação às citações, compreende-se que estas ocorrem quando uma publicação refere-se diretamente a outro trabalho publicado, com a inclusão das referências completas deste trabalho na lista de referências bibliográficas utilizadas para a sua realização (Nightingale & Marshall, 2012).

A análise bibliométrica realizada neste artigo é do tipo macro, pois mapeou as publicações científicas de um campo no país inteiro e foi realizada com base em indicadores de produção e de citações (Kobashi & Santos, 2006). Os procedimentos foram delineados de modo a possibilitar que os resultados sejam amplos, transparentes e replicáveis.

Método

O processo de desenvolvimento deste estudo ocorreu em duas etapas: busca sistemática de literatura e análises bibliométricas, descritas a seguir.

Busca sistemática de literatura

Esta etapa compreende a identificação das revistas e eventos para a busca das publicações, a definição da estratégia de busca e o estabelecimento dos filtros de refinamento.

Identificação das revistas e eventos. Para a seleção das revistas, foram utilizados dois critérios. O primeiro foi a utilização de 17 periódicos que tradicionalmente publicam artigos em Psicologia Organizacional e do Trabalho no Brasil (Borges-Andrade & Zanelli, 2004): Cadernos de Psicologia Social e do Trabalho; Psicologia: Organizações e Trabalho; Revista de Administração de Empresas – RAE; Revista de Administração da Universidade de São Paulo – RAUSP; Revista de Administração Pública – RAP; Revista de Estudos Organizacionais; Revista Organizações & Sociedade; Arquivos Brasileiros de Psicologia; Estudos de Psicologia (Natal); Interações: Estudos e Pesquisas em Psicologia (São Marcos); Psicologia: Ciência e Profissão; Psicologia: Reflexão e Crítica; Psicologia: Teoria e Pesquisa; Psicologia e Sociedade; Psicologia em Revista; Psico; e PsicoUSF.

Como segundo critério, buscou-se na base SciELO1 1 . A Scientific Electronic Library Online - SciELO é uma biblioteca eletrônica que abrange uma coleção selecionada de periódicos científicos brasileiros ( www.scielo.br). todos os periódicos de Psicologia e de Administração. O objetivo da agregação deste critério foi aumentar a amplitude da busca. Os periódicos agregados foram: Estudos de Psicologia (Campinas), Psicologia em Estudo, Brazilian Administration Review – BAR; Cadernos EBAPE.BR; Revista de Administração Mackenzie – RAM; Revista de Administração Contemporânea – RAC; e RAE Eletrônica. No todo, foram selecionados 24 periódicos para a busca sistemática.

Quanto aos eventos, selecionaram-se os principais das áreas de Administração e Psicologia Organizacional e do Trabalho, cujos artigos e/ou resumos estivessem disponíveis para consulta: Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração (ENANPAD)2 2 . Associação Nacional de Pós-Graduação e Pesquisa em Administração – ANPAD ( http://www.anpad.org.br). , Congresso Iberoamericano de Psicologia das Organizações e do Trabalho (CIAPOT) e Congresso Brasileiro de Psicologia Organizacional e do Trabalho (CBPOT). Foram identificados, portanto, três eventos para a busca sistemática.

Estratégias de busca. Dentre as estratégias de busca, incluem-se a definição das palavras-chave, a seleção dos campos de busca, e o período da busca. Utilizou-se como palavra-chave o termo recompensa em português e em inglês (reward). As publicações dos ENANPADs e do CIAPOT foram buscadas nos CD-ROOMs dos eventos. As dos CBPOTs foram pesquisadas pelo site da Associação Brasileira de Psicologia Organizacional e do Trabalho (SBPOT)3 3 . Associação Brasileira de Psicologia Organizacional e do Trabalho ( www.sbpot.org.br). .

Ressalta-se que não há uma padronização dos periódicos e anais, o que gerou a necessidade de se utilizar os seguintes critérios nos campos de busca. Título, resumo e palavra-chave em alguns periódicos; título e assunto em outros; e, em um periódico, os campos foram palavra-chave e texto completo. Nos anais de todos os eventos, o campo foi resumo.

O período para as buscas foi 2000-2011. Do CBPOT pesquisaram-se nos resumos de 2004 (primeira edição do evento), 2006, 2008 e 2010 (evento bianual). No CIAPOT foi realizada a busca nos resumos dos anais do II CIAPOT, realizado em 2011 (o primeiro CIAPOT foi em 2009 e não disponibiliza anais para consulta). Estes dois eventos publicaram, no período de análise, apenas resumos. Do ENANPAD foram pesquisados também os resumos.

Filtro de refinamento. A partir da aplicação dos critérios indicados, localizaram-se 121 publicações, cujos resumos foram lidos integralmente. Utilizou-se como filtro a condição do termo recompensa se referir a recompensas em organizações. Neste processo foram excluídas vinte publicações. Após a inclusão deste filtro, portanto, a amostra final para análise foi composta por 101 publicações.

Análises bibliométricas

Os dados das 101 publicações foram inseridos em um arquivo excel, onde as informações bibliométricas foram geradas. Nesta etapa, todos os artigos foram integralmente lidos.

Resultados

Autores mais produtivos e suas afiliações institucionais

Referente às autorias, foram contabilizados 209 autores. Entre esses, 181 autores possuem somente uma (01) publicação sobre o tema. Os autores mais produtivos, considerando-se as publicações em eventos e periódicos, foram Maria C. F. Martins e Antônio M. C. Neto, com quatro (04) publicações cada (Tabela 1). Dentre os mais produtivos, considerando-se exclusivamente os artigos em periódicos, permanecem os dois autores referidos e aparece, também, Flávia Cavazotte, com um artigo em periódico. Dentre as 101 publicações houve apenas cinco (05) artigos em periódicos.

Destaca-se que há casos em que os artigos em periódicos são revisões de artigos publicados em anais de eventos. Isso ocorreu com os artigos de Antônio M. C. Neto. Embora esta seja uma prática aceita por alguns periódicos, que consideram artigos de eventos trabalhos em construção (Machado-Da-Silva Filho, Rossoni, & Graeff, 2008), em termos bibliométricos essa prática eleva artificialmente o total de publicações.

A grande quantidade de autores que escreveu apenas um artigo e/ou resumo (181 autores) e a pequena quantidade de autores que escreveu artigos em periódicos (03 autores) sugere que o construto recompensas em organizações não está entre os eixos temáticos de interesse de grupos de pesquisa no Brasil. Para confirmar este aspecto, buscou-se pelo termo "recompensas"; no Diretório dos Grupos de Pesquisa no Brasil4 4 . dgp.cnpq/buscaoperacional. De acordo com o CNPq, este diretório "constitui-se em bases de dados que contém informações sobre os grupos de pesquisa em atividade no País";. Ainda, de acordo com o CNPq, "o Diretório é hoje capaz de descrever com precisão os limites e o perfil geral da atividade científico-tecnológica no Brasil"; (CNPq, 2013). . Nesta busca (realizada em dezembro 2012), foi recuperado apenas um grupo de "Avaliação em gestão educacional";, que possui como uma de suas linhas de pesquisa "Estudos organizacionais e gestão de pessoas";. Nesta linha a palavra recompensas é citada, mas não há publicações sobre recompensas associadas a este grupo.

Autoria individual e coautoria

Os resultados científicos são, em larga medida, o produto de trabalho colaborativo, o que foi verificado neste estudo pelo grande número de publicações em coautoria (85% do total). As publicações elaboradas por dois e três autores representam, respectivamente, 45,5% e 28,7% do total de publicações. A autoria individual resultou em apenas 15% das publicações.

A autoria coletiva, ou coautoria, expressa o resultado da colaboração de dois ou mais pesquisadores em um projeto de pesquisa, onde compartilham recursos intelectuais, econômicos e/ou físicos (Katz & Martin, 1997). No cenário brasileiro, Vanz (2009) analisou 49.046 artigos publicados entre 2004 e 2009 em revistas científicas da base Web of Science e verificou que mais de 95% desses foram escritos em coautoria. Embora a coautoria seja considerada um fenômeno relativamente recente (Phelan, Ferreira, & Salvador, 2002), tem se observado um crescimento nesta prática, especialmente nas áreas de Psicologia, Economia e Ciências Sociais (Wuchty & Jones, 2007).

Abordagens de Pesquisa

As 101 publicações também foram analisadas quanto ao seu tipo (empírica ou não empírica) e estratégia de pesquisa. A categorização tomou como base o que foi explicitado pelos autores. Nos poucos casos em que os autores não especificaram a estratégia de pesquisa empregada, mas havia indicações claras sobre a mesma, optou-se por nomeá-la.

Quanto às publicações teóricas, aquelas que realizaram revisões de literatura e apresentaram proposições foram classificados como "revisão de literatura";. Para uma publicação ser classificada na categoria "construção de teoria"; ela precisaria desenvolver um framework ou um modelo conceitual. Foram categorizados como estudos "qualitativos"; aqueles que se auto intitularam desta forma. Por fim, foram categorizadas como publicações de "intervenção"; aquelas que descreveram o processo ou o resultado de um diagnóstico organizacional, ou o resultado de outra intervenção em organizações.

Com base nestes critérios, a maioria das publicações analisadas (80,19%) descreve resultados de pesquisas empíricas. Quanto à estratégia de pesquisa, predominou o survey, com 46 ocorrências (45,54% do total), seguido de estudo de caso, com 14 ocorrências (13,86% do total) (Tabela 2).

A distribuição per se das abordagens de pesquisa não foi o aspecto que mais chamou a atenção. O ponto que surpreendeu foi o fato de 80,19% das publicações serem empíricas e, em sua maioria, não apresentarem definições de recompensas. Dentre todas as cento e uma publicações, apenas três apresentam definições de recompensas, enquanto outras oito equacionam, equivocadamente, recompensas com os seus consequentes de nível individual, entre eles a motivação, o comprometimento, o desempenho e a retenção (Steil et al., 2014). Dentre as três definições presentes nas publicações, duas representam uma visão estrita de recompensas (definições utilizadas por Schiehll & Morissette [2000] e por Valadares, Emmendoerfe, Silva, & Soares [2010]), pois compreendem sistemas de recompensas como incentivos de compensação ou remuneração (Steil et al., 2014). Apenas uma definição, utilizada por Hanashiro e Marcondes (2002, p. 4), alinha-se a uma visão ampla de recompensas: "conjunto integrado de políticas e práticas de remuneração financeira e recompensas não financeiras alinhado aos objetivos estratégicos da organização e que leve em consideração a cultura organizacional vigente";.

A preocupação que se gostaria de registrar é o fato de que uma clara definição do construto é pré-requisito para pesquisas empíricas de qualidade (Rosenthal & Rosnow, 1991). Construtos são variáveis conceitualmente definidas, utilizados na formulação de perguntas de pesquisa e hipóteses, no nível conceitual de abstração. Entretanto, a pesquisa empírica é realizada no nível operacional de abstração. A validade conceitual de uma pesquisa empírica requer que as atividades conduzidas no nível operacional estejam vinculadas as do nível conceitual. A aferição deste vínculo depende das relações, no caso das pesquisas quantitativas, entre as medidas utilizadas e seus respectivos construtos. A validade de construto está presente, portanto, quando existe uma alta correspondência entre os escores obtidos em uma medida e a definição do construto que a medida tem a intenção de representar (Schwab, 2005). No caso nacional de inexistência de definições explícitas e consensuadas sobre recompensas, não há como se desenvolver medidas, nem análises válidas, portanto os resultados das pesquisas poderão ser questionados. Em função deste aspecto, não se pode afirmar se as medidas utilizadas nos estudos empíricos nacionais capturam atributos similares das recompensas, indicando a necessidade de uma maior clarificação acerca do construto e uma maior correspondência entre a definição constitutiva e a operacional do mesmo.

Citações utilizadas nos 60 artigos completos sobre recompensas

Para essa categorização foram consideradas todas as 2089 referências citadas nos 60 artigos completos (não foram computados os resumos do CIAPOT e CBPOT, pois não apresentam referências), o que resultou em uma média de 34,81 referências por artigo. Embora esta média seja próxima da média de citações de revistas internacionais (p. ex. média de 30 citações na Revista Technovation), o mais relevante não é o número de referências por artigo, mas a pertinência e a qualidade das referências (Merino, Carmo, & Álvarez, 2006).

As 2089 referências foram classificadas quanto ao tipo: (a) livros, (b) dissertações e teses, (c) periódicos, (d) anais de eventos, e (e) outros; e à nacionalidade: nacionais e internacionais (Tabela 3). Cerca de 50% das referências citadas (1025) foram artigos de periódicos; desses, 832 internacionais e 139 nacionais. O segundo tipo de referências com maior incidência foi livros, com 776 referências, 331 internacionais e 445 nacionais. Em termos de citação de artigos em periódicos, os resultados deste estudo são relativamente similares ao percentual de citação de artigos em periódicos das teses em Psicologia do Instituto de Psicologia da Universidade de São Paulo (que somam 40,7% de todas as citações) (Sampaio, 2008). O fato das ciências humanas terem um histórico de publicação em livros e antologias (Hellqvist, 2010) pode ajudar a explicar o percentual alto de citações de livros (37%), especialmente porque a literatura sobre recompensas em organizações no Brasil tem sido publicada tanto por psicólogos quanto por administradores.

Além disso, foram identificadas as obras mais citadas pelos artigos nacionais sobre recompensas. O Quadro 1 mostra uma lista das 10 obras mais citadas, com o tipo de publicação, os temas a que estão vinculadas e a frequência de citações. O critério de corte foi o de a referência ter sido citada pelo menos quatro vezes no universo das 2089 referências (citações). Conforme pode ser visualizado na Figura 1, apenas três obras foram citadas sete vezes (0,99% de todas as citações); cinco obras foram citadas cinco vezes (0,92% das citações); e três obras foram citadas quatro vezes (0,57% das citações). Importante ressaltar, também, que 79,36% de todas as citações (n = 1658) foram citadas apenas uma vez. Esses dados indicam uma frequência baixa de citação de obras específicas frente ao número total de referências. Os 60 artigos nacionais também referenciaram, entre os dez mais citados, quatro vezes mais livros do que artigos em periódicos (oito livros e dois artigos em periódicos).


Juntamente com a identificação das obras mais citadas, verificou-se o tema das mesmas: método científico, comportamento organizacional, comprometimento organizacional, psicologia social, arquitetura organizacional (Figura 1).

O fato de entre as dez obras mais referenciadas não ter nenhuma específica sobre recompensas em organizações indica a ausência de um corpo teórico basilar compartilhado pelos autores e ajuda a explicar o baixo número de definições nos estudos nacionais sobre o tema. Esse resultado surpreende porque há um conjunto considerável de livros e artigos científicos sobre recompensas em organizações (por exemplo, Antoni, Baeten, Lucas, Perkins, & Vartiainen, 2011; Armstrong & Murlis, 2007; Bonilla, Santos, Steil, Dandolin, & Souza, 2012; Chiang & Birtch, 2005; Deci, 1972; Gieter, De Cooman, Pepermans, & Jegers, 2007; Jones & Jeffrey, 1964; Kressler, 2003; Lawler III, 2000; Milkovich et al., 2011; Upadhyay, 2009; Vartiainen et al., 2007; Wiersma, 1992).

Metade das dez obras mais citadas pelos artigos sobre recompensas em organizações no Brasil é sobre método científico. Considera-se este resultado paradoxal, especialmente em função do papel central das teorias, lentes ou perspectivas teóricas, usadas dedutiva ou indutivamente, para o desenvolvimento científico (Pedhazur & Schmelkin, 1991). Questiona-se, também, se a falta de referências específicas sobre recompensas em organizações pode estar relacionada ao fato de recompensas ser considerado um tópico "organizacional";, grandemente imbricado na prática de áreas como gestão de pessoas, fazendo com que as publicações sobre esse tema no Brasil ainda reflitam um hiato entre a ciência e a prática organizacional. Apesar deste aspecto, mais elementos são necessários para se compreender porque esse hiato ocorre mais na área de recompensas do que, por exemplo, nas áreas de coaching individual (Milaré & Yoshida, 2009; Smither, 2011) ou do uso de metodologias de feedback 360º (Bracken & Rose, 2011; Quinta & Coelho, 2009), especialmente porque técnicas associadas a essas temáticas também são utilizadas pragmaticamente em organizações.

Considerações finais

Tanto pesquisadores quanto gestores e psicólogos percebem a importância de se compreender a natureza das recompensas em organizações, o que pode ser constatado pela quantidade expressiva de publicações sobre o tema. Este artigo soma esforços aos que já têm sido empreendidos pela Psicologia e por outras áreas para a organização e a disseminação da informação científica (Sampaio, 2008) desenvolvida no Brasil.

A maior contribuição deste artigo é a sistematização e a consolidação do campo de conhecimento sobre recompensas em organizações no Brasil. A revisão demonstrou que a pesquisa sobre recompensas em organizações no Brasil é fragmentada e com pouca densidade conceitual. Não há grupos de pesquisa registrados no CNPq com este foco e, dentre os autores com mais publicações sobre o tema, apenas três publicaram em periódicos nacionais de Psicologia ou Administração. A maioria das publicações sobre recompensas no Brasil são empíricas e praticamente metade delas utiliza o survey como abordagem. De todas as publicações, apenas três apresentam definições de recompensas, sendo duas definições com um enfoque estrito e uma com um enfoque amplo. Quanto às referências utilizadas pelos artigos completos, em termos quantitativos tem-se 49,07% das referências a periódicos e 37,15% de referências a livros. A análise mais detalhada das citações demonstra uma grande pulverização das referências utilizadas, uma vez que 79,36% das referências foram citadas apenas uma vez. Além disso, e mais preocupante, foi a constatação da inexistência de citações de artigos ou livros específicos sobre recompensas em organizações, a despeito da grande quantidade de literatura internacional sobre o tema.

A segunda contribuição é a aplicação de um método rigoroso e transparente, seguido de uma síntese dos resultados. Uma abordagem sistemática, como a bibliometria, ainda é pouco utilizada em revisões na área de Psicologia no Brasil. Conforme Newbert (2007) já havia alertado, sem uma abordagem sistemática para coleta de dados, mesmo as revisões de literatura mais amplas e aprofundadas, realizadas por pesquisadores experientes na área, não ficam imunes a tendenciosidades relacionadas à literatura conhecida pelos pesquisadores. Em função deste aspecto, o uso de uma abordagem sistemática para coleta de dados pode contribuir para o aumento do rigor acadêmico em algumas áreas da Psicologia no Brasil.

A terceira contribuição está relacionada à identificação de hiatos na literatura. O principal aspecto a ser destacado é básico: a necessidade das publicações nacionais, empíricas ou não, apresentarem as definições do construto, de modo que se possa realizar pesquisa minimamente comparável com outras realizadas nacionalmente ou internacionalmente. Especialmente pelo fato das pesquisas sobre recompensas em organizações serem emergentes, a tendência de crescimento é grande, o que torna mandatório a explicitação das definições utilizadas.

Este estudo possui algumas limitações. O artigo aprofundou o conhecimento acerca das publicações sobre recompensas no Brasil em um período histórico específico, mas não desenvolveu novas proposições teóricas acerca do construto, o que seria o próximo passo a ser realizado. O levantamento também ficou circunscrito a um período específico, com foco nas publicações em periódicos e anais de eventos, portanto eventuais capítulos de livros publicados sobre o tema no Brasil não foram analisados. Por fim, mais do que trazer conclusões, o artigo apresenta à comunidade científica a sistematização dos resultados das pesquisas publicadas sobre recompensas em organizações, de modo que a mesma possa refletir sobre a sua produção e traçar novas metas relacionadas à qualidade da pesquisa realizada sobre o tema no Brasil.

Referências

Antonello, C. S., & Godoy, A. S. (2009). Uma agenda Brasileira para os estudos em aprendizagem organizacional. Revista de Administração de Empresas, 49(3), 266-281. doi: 10.1590/S0034-75902009000300003

Antoni, C. H., Baeten, X., Lucas, R., Perkins, S., & Vartiainen, M. (2011). Pay and reward systems in organizations – theoretical approaches and empirical outcomes. Langerich: Pabst Science Publishers.

Armstrong, M., & Murlis, H. (2007). Reward management: a handbook of remuneration strategy and practice (5a ed.). Londres: Kogan Page.

Bonilla, M. A., Santos, J., Steil, A., Dandolin, G., & Souza, J. (2012). Análise bibliométrica dos estudos quantitativos sobre o tema recompensas nas áreas de gestão e negócios da web of science. Anais do XV SEMEAD, São Paulo, SP, 1-17.

Borges-Andrade, J. E., & Pagotto, C. P. (2010). O estado da arte da pesquisa brasileira em psicologia do trabalho e organizacional. Psicologia: Teoria e Pesquisa, 26, 37-50. doi: 10.1590/S0102-37722010000500004

Borges-Andrade, J. E., & Zanelli, J. C. (2004). Psicologia e produção de conhecimento em organizações e trabalho. In J. C. Zanelli, J. E. Borges-Andrade & A. V. B. Bastos (Orgs.), Psicologia, Organizações e Trabalho no Brasil (pp. 492-517). Porto Alegre: Artmed.

Bracken, D. W., & Rose, D. S. (2011). When does 360-degreee feedback create behavior change? Journal of Business and Psychology, 26, 183-192. doi:10.1007/s10869-011-9218-5

Brandão, H. P. (2007). Competências no trabalho: Uma análise da produção científica Brasileira. Estudos de Psicologia, 12(2), 149-158. doi: 10.1590/S1413-294X2007000200007

Bratton, J., & Gold, J. (2003). Human resource management: Theory and practice. Nova Iorque: Palgrave MacMillan.

Caldas, M. P., & Tinoco, T. (2004). Pesquisa em gestão de recursos humanos nos anos 1990: Um estudo bibliométrico. Revista de Administração de Empresas, 44(3), 100-114. doi: 10.1590/S0034-75902004000300008

Chiang, F. T., & Birtch, T. A. (2005). A taxonomy of reward preference. Journal of International Management, 11(3), 357-375. doi: 10.1016/j.intman.2005.06.004

Chiang, F. T., & Birtch, T. A. (2006). An empirical examination of reward preferences within and across national settings. Management International Review, 46(5), 573-596. doi:10.1007/s11575-006-0116-4

CNPq (2013). Recuperado de http://dgp.cnpq.br/diretorioc/html/infogeral/index.html. [ Links ]

Cronin, B. (1984). The citation process: The role and significance of citations in scientific communication. London: Taylor Graham.

Deci, E. L. (1972). Intrinsic motivation, extrinsic reinforcement, and inequity. Journal of Personality and Social Psychology, 22(1), 113-120.

Gieter, S., De Cooman, R., Pepermans, R., & Jegers, M. (2007). Manage through rewards, not only through pay. In M. Vartiainen, C. Antoni, X. Baeten, N. Hakonen, R. Lucas, H. Thierry (Orgs.), Reward Management Facts and Trend in Europe (pp. 97-115), Lengerich: Pabst Science Publishers.

Graeml, A. R., & Macadar, M. A. (2010). Análise de citações utilizadas em ADI: 10 anos de anais digitais do ENANPAD (1997-2006). Revista de Administração Contemporânea, 14(1), 122-148. doi: 10.1590/S1415-65552010000100008

Guzzo, R. A. (1979). Types of rewards, cognitions and work motivation. Academy of Management Review, 4(1), 75-86. doi: 10.5465/AMR.1979.4289186

Hanashiro, D. M. M., & Marcondes, R. C. (2002). A perspectiva de um sistema estratégico de recompensas para executivos: desafios e oportunidades. Anais do XXVI Encontro da ANPAD - EnANPAD, [CD-ROM], Salvador, BA, 1-15.

Hellqvist, B. (2010). Referencing in the humanities and its implications for citation analysis. Journal of the American Society for Information Science and Technology, 6(2), 310-318. doi: 10.1002/asi.21256

Henderson, R. I. (1989). Compensation management: Rewarding performance. Virginia: Reston Publications.

Jones, L., & Jeffrey, T. A. (1964). Quantitative-analysis of expressed preferences for compensation plans. Journal of Applied Psychology, 48(4), 201-210. doi:10.1037/h0045529

Katz, J. S., & Martin, B. R. (1997). What is research collaboration? Research Policy, 26(1), 1-18. doi: 10.1016/S0048-7333(96)00917-1

Kobashi, N. Y., & Santos, R. N. M. (2006). Institucionalização da pesquisa científica no Brasil: Cartografia temática e de redes sociais por meio de técnicas bibliométricas. TransInformação, 18(1), 27-36.

Kohn, A. (1999). Punished by Rewards: The Trouble with Gold Stars, Incentive Plans, A's, Praise, and Other Bribes. Boston: Houghtom Mifflin Company.

Kressler, H. (2003). Motivate and reward. Nova Iorque: Palgrave MacMillan.

Lawler III, E. E. (2000). Rewarding excellence. São Francisco: Jossey-Bass.

Loiola, E., & Bastos, A. V. B. (2003). A produção acadêmica sobre prendizagem organizacional no Brasil. Revista de Administração Contemporânea, 7(3), 181-201. doi: 10.1590/S1415-65552003000300010

Machado-Da-Silva, C. L., Filho, E. R. G., Rossoni, L., & Graeff, J. F. (2008). Periódicos Brasileiros de administração: Análise bibliométrica de impacto no triênio 2005-2007. RAC-Eletrônica, 2(3), 351-373. Recuperado de http://www.anpad.org.br/rac-e

Macias-Chapula, C. A. (1998). O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Ciência da Informação, 27(2), 134-140. doi: 10.1590/S0100-19651998000200005.

Merino, M. T. G., Carmo, M. L. P., & Álvarez, M. V. S. (2006). 25 Years of technovation: characterisation and evolution of the journal. Technovation, 26, 1303-1316. doi: 10.1016/j.technovation.2005.11.005

Milaré, S., & Yoshida, E. (2009). Intervenção breve em organizações: Mudança em coaching de executivos. Psicologia em Estudo, 14(4), 717-727. doi: 10.1590/S1413-73722009000400012

Milkovich, G., Newman, J., & Gerhart, B. (2011). Compensation. Nova Iorque: McGraw-Hill/ Irwin.

Mitlacher, L. W. (2011). Work-life balance accounts and total compensation. In C.H. Antoni, X. Baeten, R. Lucas, S. Perkins, M. Vartiainen (Orgs.), Pay and Rewards Systems in Organizations – Theoretical Approaches and Empirical Outcomes (pp. 140-164). Lengerich: Pabst Science Publishers.

Neto, J. E. B., & Colauto, R. D. (2010). Teoria institucional: estudo bibliométrico em anais de congressos e periódicos científicos. ConTexto, 10(18), 63-74. Recuperado de http://seer.ufrgs.br/ConTexto/article/view/13372

Newbert, S. L. (2007). Empirical research on resource-based view of the firm: an assessment and suggestions for future research. Strategic Management Journal, 28, 121-146. doi: 10.1002/smj.573

Nightingale, J. M., & Marshall, G. (2012). Citation analysis as a measure of article quality, journal influence and individual researcher performance. Radiography, 18, 60-67. doi: 10.1016/j.nepr.2013.02.005

O'Neal, S. (1998). The phenomenon of total rewards. American Compensation Association Journal, 7(3), 6-18. doi:10.1177/0886368709337926

Okubo, Y. (1997). Bibliometric Indicators and Analysis of Research Systems: Methods and Examples, OECD Science, Technology and Industry Working Papers, 1997/01, OECD Publishing. doi: 10.1787/208277770603

Pedhazur, E. J., & Schmelkin, L. P. (1991) Measurement, design, and analysis: An integrated approach. Nova Iorque: Lawrence Erlbaum Associates.

Phelan, S. E., Ferreira, M. & Salvador, R. (2002). Research notes and commentaries – the first twenty years of the strategic management journal. Strategic Management Journal, 23, 1161-1168. doi: 10.1002/smj.268

Pinder, C. C. (1998). Work motivation in organizational behavior. Upper Saddle River: Prentice Hall.

Quinta, N. C. C., & Coelho, C. (2009). Contando e detectando mentiras: Efeito do feedback sobre o desempenho. Psicologia: Teoria e Pesquisa [online], 25(1), 137-145. doi: 10.1590/S0102-37722009000100016.

Rosenthal, R., & Rosnow, R. L. (1991). Essentials of behavioral research: Methods and data analysis. Nova Iorque: McGraw-Hill.

Sampaio, M. I. C. (2008). Citações a periódicos na produção científica em Psicologia. Psicologia, Ciência e Profissão, 28(3), 452-465. doi: 10.1590/S1414-98932008000300002

Santos, V., Rengel, S, & Machado, D. D. P. R. (2012). Cultura organizacional em contabilidade: uma abordagem bibliométrica dos artigos publicados nos anos de 2004 a 2008. Anais do XV SEMEAD. São Paulo.

Schiehll, E., & Morissette, R. (2000). Motivation, measurement and rewards from a performance evaluation perspective. Revista de Administração Contemporânea, 4(3), 07-24. doi: 10.1590/S1415-65552000000300002

Schwab, D. P. (2005). Research methods for organizational studies. Nova Iorque: Lawrence Erlbaum Associates.

Smither, J. (2011). Can psychotherapy research serve as a guide for research about executive coaching? Journal of Business and Psychology, 26(2), 135-145. doi: 10.1007/s10869-011-9216-7

Steil, A. V., Garcia, C. E., Farsen, T. C. , & Bonilla, M. A. (2014). Estado da arte sobre recompensas em organizações no Brasil: Uma análise bibliométrica da literatura nacional de 2000-2011. Revista Psicologia: Organizações e Trabalho, 14(1), 19-35.

Thompson, P. (2002). Total reward. Londres: CIPD Bookstore.

Tonelli, M., Caldas, M., Lacombe, B., & Tinoco, T. (2003). Produção acadêmica em Recursos Humanos no Brasil: 1991-2000. Revista de Administração de Empresas, 43(1), 105-122. doi: 10.1590/S0034-75902003000100011

Tornikoski, C. 2011. Expatriate Compensation. In C.H. Antoni, X. Baeten, R. Lucas, S. Perkins, M. Vartiainen (Orgs.), Pay and Rewards Systems in Organizations – Theoretical Approaches and Empirical Outcomes (pp. 38-67). Lengerich: Pabst Science Publishers.

Upadhyay, S. S. (2009). Compensation management: Rewarding performance. Nova Déli: Global India Publications Pvt Ltd.

Valadares, J. L., Emmendoerfer, M. L., Silva, G. M., & Soares, E. B. S. (2010). Modernização da administração pública de Minas Gerais: um estudo exploratório do cargo de empreendedor público. Anais do XXXIV Encontro da ANPAD - EnANPAD, [CD-ROM], Rio de Janeiro, RJ, 1-17.

Vanti, N. A. P.(2002). Da bibliometria à webometria: Uma exploração conceitual dos mecanismos utilizados para medir o registro da informação e a difusão do conhecimento. Ciência da Informação, 31(2), 152-162. doi: 10.1590/S0100-19652002000200016

Vanz, S. A. S. (2009). As redes de colaboração científica no Brasil (2004-2006) (Tese de Doutorado. Universidade Federal do Rio Grande do Sul, Porto Alegre). Recuperado de http://hdl.handle.net/10183/17169.

Vartiainen, M., Antoni, C., Baeten, X., Hakonen, N., Lucas, R., & Thierry, H. (2007). Reward management – facts and trends in Europe. Lengerich: Pabst Science Publishers.

Wiersma, U. J. (1992). The effects of extrinsic rewards in intrinsic motivation: A meta-analysis. Journal of Occupational and Organizational Psychology, 65(2), 101-102. doi: 10.1111/j.2044-8325.1992.tb00488.x

Worldatwork (2007). The WorldatWork Handbook of Compensation, Benefits & Total Rewards: A Comprehensive Guide for HR Professionals. Hoboken: John Wiley & Sons

Wuchty, S., Jones, B., & Uzzi, B. (2007). The increasing dominance of teams in production of knowledge. Science, 316(5827), 1036-1039. doi: 10.1126/science.1136099

Recebido em 05.Abr.13

Revisado em 20.Abr.14

Aceito em 12.Mai.14

Andrea Valéria Steil, Doutora em Engenharia de Produção, com foco em Aprendizagem Organizacional pela Universidade Federal de Santa Catarina (UFSC), é Professora do Departamento de Psicologia e dos Programas de Pós-Graduação em Engenharia e Gestão do Conhecimento (PPGEGC) e em Psicologia (PPGP), ambos na Universidade Federal de Santa Catarina (UFSC). Endereço para correspondência: Campus Universitário Reitor David Ferreira Lima, Trindade, CEP: 88040-900, Florianópolis - SC. Telefone: (48) 3721-8550 Fax: (48) 3721-9283. E-mail: andreasteil@egc.ufsc.br

Thaís Cristine Farsen, Bacharel em Psicologia pela Universidade Federal de Santa Catarina (UFSC). E-mail: thais.farsen@gmail.com

Carolina Esteves Garcia, Bacharel em Psicologia pela Universidade Federal de Santa Catarina (UFSC). E-mail: carolinaestevesgarcia@gmail.com

María Alejandra Maldonado Bonilla, Mestre em Engenharia e Gestão do Conhecimento pela Universidade Federal de Santa Catarina (UFSC). E-mail: m.a.m.bonilla@gmail.com

Notas

  • Antonello, C. S., & Godoy, A. S. (2009). Uma agenda Brasileira
  • Antoni, C. H., Baeten, X., Lucas, R., Perkins, S., & Vartiainen,
  • Armstrong,
  • Bonilla, M. A., Santos, J., Steil, A., Dandolin, G., & Souza, J.
  • Borges-Andrade, J. E., & Pagotto, C. P. (2010). O estado da arte
  • Borges-Andrade, J. E., & Zanelli, J. C. (2004). Psicologia e
  • Bracken,
  • Brandão, H. P. (2007). Competências no trabalho: Uma análise da
  • Bratton,
  • Caldas, M. P., & Tinoco, T. (2004). Pesquisa em gestão de
  • Chiang, F. T., & Birtch, T. A. (2005). A taxonomy of
  • Chiang,
  • CNPq (2013). Recuperado de http://dgp.cnpq.br/diretorioc/html/infogeral/index.html.
    » link
  • Cronin,
  • Deci,
  • Gieter,
  • Guzzo,
  • Hanashiro, D. M. M., & Marcondes, R. C. (2002). A perspectiva de
  • Hellqvist,
  • Henderson,
  • Jones, L., & Jeffrey, T. A. (1964). Quantitative-analysis
  • Katz,
  • Kobashi, N. Y., & Santos, R. N. M. (2006). Institucionalização
  • Kohn,
  • Kressler,
  • Lawler III, E. E. (2000). Rewarding excellence São Francisco: Jossey-Bass.
  • Loiola, E., & Bastos, A. V. B. (2003). A produção acadêmica
  • Machado-Da-Silva, C. L., Filho, E. R. G., Rossoni, L., & Graeff,
  • Macias-Chapula, C. A. (1998). O papel da informetria e da
  • Merino, M. T. G., Carmo, M. L. P., & Álvarez, M. V. S. (2006). 25
  • Milaré, S., & Yoshida, E. (2009). Intervenção breve em
  • Milkovich,
  • Mitlacher,
  • Neto, J. E. B., & Colauto, R. D. (2010). Teoria institucional:
  • Newbert,
  • Nightingale,
  • O'Neal,
  • Okubo,
  • Pedhazur,
  • Phelan,
  • Pinder,
  • Rosenthal,
  • Sampaio, M. I. C. (2008). Citações a periódicos na
  • Santos, V., Rengel, S, & Machado, D. D. P. R. (2012). Cultura
  • Schiehll, E., & Morissette, R. (2000). Motivation,
  • Schwab,
  • Smither,
  • Steil, A. V., Garcia, C. E., Farsen, T. C. , & Bonilla, M. A.
  • Thompson, P. (2002). Total reward Londres: CIPD
  • Tonelli, M., Caldas, M., Lacombe, B., & Tinoco, T. (2003).
  • Tornikoski,
  • Upadhyay,
  • Valadares,
  • Vanti, N. A. P.(2002). Da bibliometria à webometria: Uma exploração
  • Vanz, S. A. S. (2009). As redes de colaboração científica no Brasil (2004-2006) (Tese de Doutorado. Universidade Federal do Rio Grande do Sul,
  • Vartiainen, M., Antoni, C., Baeten, X., Hakonen, N., Lucas, R.,
  • Wiersma,
  • Worldatwork (2007). The WorldatWork Handbook of Compensation, Benefits & Total Rewards: A Comprehensive Guide for HR Professionals. Hoboken: John Wiley & Sons
  • Wuchty,
  • 1
    . A
    Scientific Electronic Library Online - SciELO é uma biblioteca eletrônica que abrange uma coleção selecionada de periódicos científicos brasileiros (
  • 2
    . Associação Nacional de Pós-Graduação e Pesquisa em Administração – ANPAD (
  • 3
    . Associação Brasileira de Psicologia Organizacional e do Trabalho (
  • 4
    . dgp.cnpq/buscaoperacional. De acordo com o CNPq, este diretório "constitui-se em bases de dados que contém informações sobre os grupos de pesquisa em atividade no País";. Ainda, de acordo com o CNPq, "o Diretório é hoje capaz de descrever com precisão os limites e o perfil geral da atividade científico-tecnológica no Brasil"; (CNPq, 2013).
  • Datas de Publicação

    • Publicação nesta coleção
      11 Ago 2014
    • Data do Fascículo
      Mar 2014

    Histórico

    • Recebido
      05 Abr 2013
    • Aceito
      12 Maio 2014
    • Revisado
      20 Abr 2014
    Programa de Pós-graduação em Psicologia e do Programa de Pós-graduação em Psicobiologia, Universidade Federal do Rio Grande do Norte Caixa Postal 1622, 59078-970 Natal RN Brazil, Tel.: +55 84 3342-2236(5) - Natal - RN - Brazil
    E-mail: revpsi@cchla.ufrn.br