Avaliação da satisfação do consumidor utilizando o método de equações estruturais: um modelo aplicado ao setor elétrico brasileiro

ARTIGOS

Avaliação da satisfação do consumidor utilizando o método de equações estruturais: um modelo aplicado ao setor elétrico brasileiro⁽¹⁾

Renato Marchetti; Paulo H. M. Prado

RESUMO

Este artigo apresenta o Modelo de avaliação da Satisfação do Consumidor quanto ao Setor Elétrico Brasileiro, baseado em Modelo de Equações Estruturais. Nele, inseriram-se os construtos da Desconformidade com os serviços de distribuição de energia elétrica, avaliados a partir da percepção dos seus diversos componentes e do valor percebido como antecedentes da Satisfação. Também criou-se uma variável latente, representando a Satisfação Global, que foi utilizada para avaliar os resultados globais de cada concessionária de energia. Complementando o modelo, inseriu-se também o construto da fidelidade, avaliado por meio de cenários em que o consumidor era exposto a vantagens, verificando-se se este tinha intenção de troca. Os resultados obtidos indicam um modelo de grande validade e consistência interna, bem como flexibilidade para mensurar a Satisfação em diversas situações (para diferentes portes de empresa, regiões do país etc.). Da mesma forma, a replicação desta metodologia em outros setores da economia brasileira permitem a comparação de desempenho entre elas e com benchmarks internacionais, hoje difundidos pelo mundo.

Palavras-chave: satisfação do consumidor; serviços de distribuição de energia elétrica; modelo de equações estruturais.

ABSTRACT

This article presents the Consumer Satisfaction Model for the Brazilian Electric Utility Industry, based on Structural Equations Method. There were used the evaluation of the Distribution Service Quality, and of the Perceived Value as Satisfaction antecedents. There was also created a latent variable representing the Global Satisfaction and it was used as the global score of each energy provider. Complementing the model, it also was inserted the loyalty construct, evaluated through some sceneries in which the consumer was exposed to some advantages and measured his intention to change to other option. The obtained results indicated a good model validity and internal consistency, as well as flexibility to measure the Satisfaction in several situations (for different companies, country regions, etc). In the same way, for the methodology replication in other Brazilian economic industries, it is allowed the performance comparison among them and with international benchmarks.

Key words: consumer satisfaction; electric utility industry; structural equation model.

INTRODUÇÃO

Nos últimos anos as pesquisas sobre a satisfação do consumidor absorveram parte considerável dos esforços dos pesquisadores em Marketing, institutos de pesquisas, órgãos governamentais e empresas interessadas em implantar programas de qualidade total. Atualmente é lugar comum reconhecer que satisfazer as necessidades do consumidor é um dos principais objetivos das organizações. O reconhecimento deste princípio básico de gestão vem tornando cada vez mais importante o monitoramento da satisfação do consumidor, como forma de avaliar o seu desempenho global, quer se visem ao lucro ou não. Como ressaltam diversos estudos, num mundo onde a concorrência é grande e onde o consumidor é mais informado e exigente, a avaliação constante da satisfação traz excelentes benefícios, como forma de realimentar e controlar o esforço de uma empresa, sob o ponto de vista dos seus clientes.

Aferida por algum Órgão Regulador, a avaliação da Satisfação do Consumidor tem sua importância destacada pela possibilidade de incluir no processo de acompanhamento das empresas, além de indicadores técnicos de desempenho, também indicadores da avaliação do consumidor quanto aos serviços prestados. Assim como em muitos países do mundo, o setor de serviços essenciais deve também estar preocupado com o bem estar do cidadão e o correto fornecimento de serviços a ele.

Tendo em vista os elementos apresentados, este artigo tem por objetivos:

. Apresentar um Modelo de Avaliação, a partir da percepção dos usuários residenciais, do Grau de Satisfação com as concessionárias de energia elétrica no Brasil.

. Prover um instrumento válido e confiável para o fim indicado.

. Desenvolver o formato deste modelo de forma a permitir que os indicadores possam ser comparáveis por região e por porte de empresa.

Este paper está dividido em 2 grandes partes A primeira delas faz uma revisão dos modelos de avaliação da Satisfação do Consumidor, a partir de uma análise crítica das vantagens e desvantagens de cada um deles. A segunda parte apresenta um Modelo para mensurar a Satisfação do Consumidor residencial quanto ao Setor Elétrico Brasileiro, contemplando todo o seu processo de concepção, de validação das escalas e de cálculo dos seus indicadores.

SATISFAÇÃO DO CONSUMIDOR

Existem na literatura dois tipos de definições que diferem em função da ênfase que dão à satisfação do consumidor, quer como resultado, quer como processo. Algumas definições conceptualizam a SC (Satisfação do Consumidor) como resultado de uma experiência de consumo. Neste sentido, a satisfação do consumidor tem também sido definida como a resposta do consumidor a uma avaliação da discrepância percebida entre as expectativas, ou outro tipo de norma da performance e a performance corrente de um produto percebida após o seu consumo (Engel, Blackwell e Miniard, 1993; Howard e Sheth, 1969; Hunt, 1977; Tse e Wilton, 1988).

Essa abordagem centrada na orientação para o processo, process-oriented, comparada com a abordagem orientada para o resultado, outcome-oriented, traz uma visão ampliada da SC, na medida em que ele a concebe na perspectiva da experiência de consumo como um todo. Ela chama mais a atenção para perspectivas de processos perceptuais, avaliativos e psicológicos como geradores da SC (Yi, 1991). Alguns autores têm utilizado esta abordagem nas suas pesquisas (Bearden e Teel, 1983; Oliver, 1980). Para Oliver (1981, 1997), embora essas concepções possam contribuir para o entendimento do significado da satisfação, poucas são baseadas em uma teoria integrada ou em achados empíricos. Assim, esse autor apresenta seu conceito de satisfação como podendo ser entendida como uma avaliação da surpresa inerente à aquisição de um produto e/ou à experiência de consumo.

MENSURAÇÃO DA SATISFAÇÃO DO CONSUMIDOR

Diversos métodos podem ser utilizados para avaliar a Satisfação do Consumidor. Os mais difundidos são baseados no Paradigma da Desconformidade. Uma segunda categoria refere-se à mensuração por meio da ampliação deste paradigma, e leva em consideração outros componentes da formação da Satisfação do Consumidor. A terceira categoria trabalha sob o ponto de vista da utilização de métodos de equações estruturais para avaliação da Satisfação e sofistica o processamento dos resultados. Esses modelos serão discutidos de forma resumida a seguir⁽²⁾.

Modelos Baseados no Paradigma da Desconformidade

Modelos Baseados na Relação Expectativas e Performance

Segundo o paradigma da Desconformidade, a avaliação da Satisfação do Consumidor pode ser feita mensurando-se as Expectativas (Ei), para cada atributo considerado relevante para a pesquisa. Outro componente, utilizado neste paradigma, é a performance percebida (Pi), capturada normalmente com uma escala de avaliação do desempenho de cada atributo relevante para a pesquisa; ou seja, avaliam-se os mesmos atributos mensurados nas Expectativas, só em uma escala de desempenho. A Satisfação do Consumidor é obtida a partir da subtração do escore de Performance Percebida (Pi) do escore de Expectativas (Ei). Quanto mais positivo for este resultado, mais satisfeitos estarão os consumidores.

Essa abordagem trata do problema por meio da avaliação algébrica da Desconformidade (Haistead, 1989; Oliver, 1977, 1981; Weaver e Brickman, 1974; Westbrook, Newman e Taylor, 1978). Com os escores individuais, pode-se calcular escores agregados, dependendo da estrutura dimensional que se está desenvolvendo (Parasuraman, Zeithaml e Berry, 1988). Outra maneira de utilizar a Desconformidade como indicador da Satisfação revela-se por meio da avaliação da Desconformidade Subjetiva (Evrard, 1991; Oliver, 1980, 1981; Swan e Trawick, 1981). Nos estudos citados, o indicador da Desconformidade Subjetiva mostrou ter maior contribuição sobre a Satisfação do Consumidor que a Performance e as Expectativas individualmente, ou que a Desconformidade Algébrica: diferença entre expectativa e performance percebida. Para uma discussão sobre as escalas, bem como as vantagens e desvantagens destas abordagens, consultar Marchetti e Prado (2001).

Modelos Baseados na Performance Percebida

Cronin e Taylor (1992, 1994) propuseram outra forma de mensurar a Satisfação baseada na Percepção de Performance. Este modelo é conhecido como SERVPERF. O escore é obtido diretamente dos itens referentes à avaliação da performance da escala SERVQUAL. Neste caso, a Avaliação da Performance é feita por meio de uma escala de Likert, de 5 ou 7 pontos, trabalhando com os itens de avaliação no serviço em estudo (Churchill e Suprenant, 1982; Oliver, 1980, 1981). O Escore Global de Satisfação do Consumidor (EGSC) é obtido a partir da média dos escores individuais de performance percebida. Para uma discussão sobre as escalas, bem como as vantagens e desvantagens destas abordagens, consultar Marchetti e Prado (2001).

Modelos Baseados na Performance Ponderada pela Importância

Em outra possibilidade de avaliação da Satisfação é utilizada a ponderação do Escore de Performance por um indicador de importância do atributo. Perron (1998) e Bardon (1993) aplicam esta abordagem em seus trabalhos. Carvalho e Leite (1998) usam este modelo, considerando a ponderação da importância sob o ponto de vista do choice set. Nesta situação, mostram que a avaliação de importância de todos os itens pode comprometer a confiabilidade da escala; sugerem que seja feita uma limitação no número de itens avaliados pelo entrevistado. Cronin e Taylor, 1992, 1994; Jonhston, 1998; Johnston e Luce, 1996; Teas, 1993, sugerem a indicação direta da relação Performance -> Satisfação é mais forte sob o ponto de vista da variância explicada, comparativamente às abordagens baseadas nas diferenças da performance, das expectativas e da ponderação da performance pela importância.

Modelos Baseados na Relação Nível Mínimo Aceitável, Nível Desejado e Performance

Parasuraman, Zeithaml e Berry (1994) propuseram também outra forma de mensurar a Satisfação, tomando como referência a possibilidade de o consumidor não ter um único nível de expectativas para cada atributo mensurado. Esse método reconhece a existência de uma zona de tolerância (Evrard, 1993), na qual o consumidor leva em consideração um nível mínimo adequado (NMi) dos serviços, abaixo do qual ele torna-se inaceitável, e o nível desejado dos serviços (NDi), que é o nível no qual o consumidor gostaria de receber os serviços. Nessa opção, o cálculo do Escore de Satisfação é feito subtraindo o nível mínimo e o nível desejado dos serviços, da performance percebido (Pi), atributo a atributo. Com esses resultados, podemos ter, além dos Escores de Serviço Desejado (ESD), também Escores de Nível Mínimo (ENM), em que o consumidor pode expressar a não aceitabilidade da performance de certos atributos ofertados pelo prestador de serviços. Carvalho e Leite (1999) refinaram ainda mais esta escala, mostrando que a referência de nível adequado de serviços tem maior relevância na avaliação do modelo que a avaliação da Importância na contribuição para explicação da avaliação global.

Modelos Baseados na Multiplicidade de Indicadores da Satisfação

A segunda categoria de modelos de avaliação da Satisfação está baseada no fato de que ela é formada por uma gama mais ampla de construtos. Esta forma de mensuração baseia-se nos resultados de pesquisas que avaliaram as influências da Atribuição (Folkes, 1984; Oliver e Desarbo, 1988), da Equidade (Oliver e Desarbo, 1988; Oliver e Swan, 1989; Tse e Wilton, 1988), da Desconformidade (já discutida no item Modelos Baseados no Paradigma da Desconformidade) e da Resposta Afetiva (Evrard e Aurier, 1994; Mano e Oliver, 1993; Oliver, 1989, 1993; Richins, 1997; Westbrook, 1980, 1987) sobre a Satisfação. Neste modelo, cada item é indicador de um construto formador da Satisfação com peso semelhante. O pressuposto é de que haja unidimensionalidade neste grupo, o que garantiria a mensuração do construto. Caso esta observação seja verdadeira, o Escore Global de Satisfação (ESG) pode ser obtido pela soma simples dos escores indicados em cada um dos itens da escala. Para uma discussão sobre as escalas, bem como as vantagens e desvantagens destas abordagens, consultar Marchetti e Prado (2001).

Modelos Baseados em Métodos de Equações Estruturais

Existem outros modelos disponíveis que se baseiam na premissa de que a Satisfação do Consumidor não pode ser avaliada diretamente pelo consumidor. Estes modelos utilizam variáveis latentes, isto é, construtos que, não podendo ser observados diretamente, são representados ou medidos a partir de outras variáveis, isto é, pelos indicadores. Pode-se avaliar a satisfação em modelos mais complexos, utilizando métodos de Equações Estruturais (Lisrel, PLS, etc). Nesta abordagem, o modelo avalia construtos como a Qualidade Percebida, as Expectativas dos Consumidores, o Valor Percebido, a própria Satisfação, e o comportamento de reclamações e Lealdade ao fornecedor (Fornell et al., 1994). Estes modelos baseiam-se nos trabalhos citados na abordagem anterior, mas encontram-se especialmente balizados nos trabalhos de Churchill e Suprenant (1982), Fornell (1992) e Fornell et al. (1994). Kotler e Dubois (1993) ressaltam a necessidade de incorporar elementos de avaliação da Qualidade Percebida e de Valor Percebido nos processo de mensuração a Satisfação do Consumidor. Urdan e Rodrigues (1998) replicaram este estudo para a realidade brasileira, com resultados que podem ser considerados bons. Para uma discussão sobre as escalas, bem como vantagens e desvantagens dessas abordagens, consultar Marchetti e Prado (2001).

MODELO DESENVOLVIDO PARA AVALIAÇÃO DA SATISFAÇÃO DO CONSUMIDOR NO SETOR ELÉTRICO

Com base na análise realizada anteriormente, foi proposto um modelo para o Setor Elétrico Brasileiro, considerando a abordagem de Equações Estruturais. A opção deveu-se principalmente à possibilidade de utilizar o mesmo modelo para todas as concessionárias brasileiras, independentemente do porte, da localização ou do seu grau de integração. Da mesma forma, mantendo-se as características de mensuração do Escore Global de Satisfação do ASCI e do SCSB (Fornell, 1992; Fornell et al., 1994), pode-se obter escores comparáveis com aqueles encontrados nos EUA e na Suécia. Estes indicadores podem ser considerados benchmarks internacionais.

O modelo apresentado é composto de 4 dimensões principais, quais sejam: (a) Desconformidade Percebida com os serviços de Distribuição de Energia Elétrica; (b) Valor Percebido destes serviços; (c) Satisfação Global; (d) Fidelidade ao fornecedor de Energia Elétrica.

O primeiro componente do modelo é o construto da Desconformidade Percebida, aqui definido como "a avaliação feita pelo consumidor, comparando subjetivamente as suas expectativas e a percepção de performance dos serviços recebidos" (Oliver, 1980, 1981). A inserção deste construto no modelo deve-se principalmente a que a Desconformidade é indicada como um antecedente com alta influência sobre a Satisfação do Consumidor. Este construto é considerado no modelo como variável latente exógena, e mensurada de forma direta, o que, comparativamente à mensuração que leva em conta a diferença entre a Performance Percebida e as Expectativas, oferece algumas vantagens (Evrard, 1991; Oliver, 1980, 1981). Pela mensuração da desconformidade adotada, as expectativas ficam implícitas na resposta à escala utilizada, eliminando o problema de determinar o tipo de expectativas que deve ser utilizada. A segunda vantagem refere-se ao tempo de aplicação. A escala é aplicada uma única vez, não sendo necessária a coleta de duas respostas para cada item (expectativa e performance), o que reflete a parcimônia do modelo, bem como a eliminação da possibilidade de multicolinearidade nesta mensuração. A terceira refere-se à perspectiva teórica de que diversos estudos mostraram ser significativa a relação entre desconformidade e satisfação, sendo esta relação válida em todos. Também oferece uma diferença clara entre qualidade percebida e satisfação.

O segundo construto do modelo é o do Valor Percebido, aqui definido como "a avaliação da relação entre custos e benefícios percebida pelo consumidor relativamente aos serviços de energia elétrica" (Fornell et al., 1994). Este construto inseriu-se para avaliar a percepção do consumidor na dimensão econômica. No modelo estrutural, este construto é variável latente endógena, formada a partir da avaliação da desconformidade relativa aos serviços:

[Valor = f (Desconformidade)]

A Satisfação Global é definida como "a avaliação global do grau de ajuste de um serviço ou produto às expectativas do cliente" (Oliver, 1980, 1981). A distinção entre a Satisfação Global e a avaliação de seus antecedentes e conseqüências permite avaliar a influência entre eles e entre cada construto e seus indicadores; portanto pode-se avaliar o peso relativo de cada um dos antecedentes sobre a Satisfação Global, bem como a relação causal entre esta e os fenômenos posteriores a ela. No modelo estrutural, este construto é variável latente endógena, formado a partir da avaliação da desconformidade relativa aos serviços e do valor percebido:

[Satisfação = f (Desconformidade, Valor)]

Por fim, o último construto reflete a avaliação da Fidelidade do usuário ao seu fornecedor de energia elétrica. A Fidelidade é definida como "o comprometimento do consumidor em continuar consumindo um dado serviço de um fornecedor de forma consistente" (Oliver, 1997). No modelo estrutural, este construto é variável latente endógena, formado a partir da avaliação da satisfação global:

[Fidelidade = f (Satisfação)]

METODOLOGIA

Etapas do Desenvolvimento do Modelo

O modelo de Avaliação da Satisfação do Consumidor Residencial no Setor Elétrico foi desenvolvido em 3 etapas. Estas etapas foram concebidas de acordo com a proposta de Churchill (1979).

A primeira etapa constou de uma revisão dos modelos utilizados no setor, bem como uma consulta qualitativa, com 30 discussões de grupo, distribuídas nas 5 regiões brasileiras, mantendo a homogeneidade entre classe sociodemográfica dos participantes. Este procedimento foi utilizado para contrastar os atributos relevantes entre as diversas regiões e concessionárias, de forma a conceber uma escala que pudesse ser aplicada a todas as concessionárias, independentemente de sua localização.

A partir desses resultados, foi realizada a segunda etapa, chamada de piloto, de validação das escalas e do modelo em estudo, aplicado a cidades com diferentes portes e de diferentes regiões. Para tanto, foram coletadas 250 amostras em 3 cidades, sendo uma de grande porte da região Sudeste, uma de médio porte na região Sul, e uma de pequeno porte na região Nordeste. Estes dados foram submetidos a um processo de purificação das escalas (Análise Fatorial e Avaliação do Alfa de Cronbach), bem como à avaliação dos resultados da Satisfação, aplicando-se o modelo proposto.

Por fim, foram coletadas 300 entrevistas em cada uma das 62 concessionárias de energia elétrica brasileiras, com amostragem probabilística por área, o que completou uma amostra de 18.600 casos válidos. As amostras foram tratadas independentemente, pois o foco das análises foram os resultados de cada concessionária.

Mensuração dos Construtos

A Desconformidade Percebida foi mensurada por meio de uma escala de 10 pontos, desde Muito Pior que o Esperado(1) até Muito Melhor que o Esperado(10), com Como Esperado no ponto médio⁽³⁾. Esta escala, inicialmente composta por 21 itens, sofreu um processo de depuração, do qual resultaram três dimensões, com 17 itens no total. A Tabela 1 apresenta estas dimensões, bem como a variância explicada por cada uma delas e seus respectivos Coeficientes Alfa de Cronbach.

A primeira dimensão refere-se a Informações ao Cliente, em que os itens carregados neste fator se referem a informações sobre direitos e deveres, sobre o uso correto da energia elétrica, sobre a conta de energia elétrica e no atendimento a consumidores. A variância explicada por esta dimensão foi de 43,9%, e o Alfa de Cronbach de 0,853. A segunda dimensão refere-se ao Acesso à Empresa, com itens referentes a entrar em contato com a empresa por telefone e pessoalmente, acesso aos locais de pagamento, cordialidade no atendimento e pontualidade na prestação de serviços. A variância explicada por esta dimensão foi de 6,4%, e o Alfa de Cronbach de 0,863. A terceira dimensão refere-se à Confiabilidade nos Serviços, com itens associados à energia sem oscilação, sem interrupção, rapidez no retorno, avisos quanto aos cortes e confiabilidade nas informações dadas. A variância explicada por essa dimensão foi de 5,5%, e o Alfa de Cronbach de 0,837. Para o modelo final de análise, serão utilizadas essas três dimensões como indicadores da desconformidade. Esses serão obtidos pela média dos itens em cada fator, considerando os casos válidos.

O Valor Percebido foi mensurado em uma escala de 10 pontos, deste Muito Barato (1) até Muito Caro (10), com 3 itens. Os itens que a compuseram avaliaram a percepção da relação custos/benefícios dos serviços de distribuição, considerando: (a) as facilidades que a energia elétrica traz à vida dos respondentes; (b) a relação custo/características de fornecimento; e (c) a relação custos/características do atendimento. Esta escala foi invertida para o tratamento dos dados, já que o aspecto mais positivo na análise é a consideração positiva de muito barato para as características do serviço. Esta escala também foi submetida, na etapa piloto, a uma análise para avaliação de sua dimensionalidade e consistência interna: carga dos três itens em uma dimensão na Análise Fatorial, KMO=0,842, e coeficiente alfa de Cronbach de 0,941.

A Satisfação Global foi mensurada por meio de 3 indicadores, em escalas de 10 pontos: (a) Satisfação Global, desde Muito Insatisfeito (1) até Muito Satisfeito (10); (b) Desconformidade Global, desde Muito Pior que o Esperado (1) até Muito Melhor que o Esperado (10); e (c) Distância de uma Empresa Ideal, desde Muito Longe do Ideal (1) até Muito Próximo do Ideal (10). A seleção desses itens foi feita de forma a mensurar a Satisfação em dimensões diferentes; pelo método de solução selecionado, pode-se considerar a variância conjunta dos 3 indicadores como reflexivas do construto principal. Também, por questões de comparabilidade, essa opção permite avaliar os resultados com indicadores calculados no ACSI (American Consumer Satisfaction Index, Fornell, et alii (1994)) e o SCSB (Sweedish Consumer Satisfaction Barometer; Fornell (1992)). Esta escala também foi submetida, na etapa piloto, a uma análise para avaliação de sua dimensionalidade e consistência interna: carga dos três itens em uma dimensão na Análise Fatorial, KMO=0,698, e coeficiente alfa de Cronbach de 0,771.

A Fidelidade foi mensurada em uma escala de 10 pontos, deste Com certeza Trocaria(1) até Com Certeza não Trocaria(10), com 3 itens. Os itens que a compuseram avaliaram à propensão a troca em alguns cenários construídos, se vantagens claras fossem oferecidas ao respondente, quais sejam: (a) troca com vantagens de preço; (b) troca com melhoria no fornecimento; e (c) troca com melhoria no atendimento. Esta escala também foi submetida, na etapa piloto, a uma análise para avaliação de sua dimensionalidade e consistência interna: carga dos três itens em uma dimensão na Análise Fatorial, KMO=0,779, e coeficiente alfa de Cronbach de 0,914. A opção por uma avaliação de cenários neste construto foi feita tendo em vista que o setor é monopolista para o consumidor residencial. Assim, perguntas sobre propensão a troca sem vantagens, ou o comportamento anterior de troca não são válidas nesta situação de aplicação.

TRATAMENTO DO MODELO

O Modelo final, portanto, é mostrado na Figura 1.

No modelo final deve-se considerar um método de solução que permita avaliar os construtos latentes, a partir de seus indicadores. Desta forma, o método de Equações Estruturais mostra-se como o mais adequado.

Considerando-se as características das mensurações (natureza e assimetria), o método de estimação dos Mínimos Quadrados Parciais - PLS (Partial Least Squares) para o tratamento de modelos de equações estruturais tem vantagens, como (a) a de introduzir a noção de variável latente ou não observável; (b) a possibilidade de especificar a natureza das relações entre as variáveis latentes e seus indicadores; (c) permitir o tratamento de diversas variáveis explicativas e a explicar num mesmo modelo; (d) permitir o tratamento de problemas de assimetria nas variáveis (-,81 a ,49 na base de respostas das concessionárias); (e) possibilitar o cálculo de escores das variáveis latentes; (f) levar em consideração os erros das mensurações (Falk e Miller, 1992).

A validação global do modelo foi feita em duas etapas. Na primeira, retirando-se uma amostra aleatória de 2500 casos, foram verificadas as validades convergente e discriminante por meio de Análise Fatorial Confirmatória (CFA). O modelo obteve resultados satisfatórios para seus indicadores de ajustamento, como mostra a Tabela 2.

A segunda etapa de validação do modelo foi feita para cada concessionária individualmente. Para tanto foram utilizados indicadores de Confiabilidade⁽⁴⁾ (com resultados entre 0,801 e 0,993); Variância extraída por construto⁽⁵⁾ (com resultados entre 57,53% e 96,70%); e o RMS⁽⁶⁾ (com resultados entre 0,021 e 0,052); para mensurar o erro total do modelo, o Coeficiente de Comunalidade (com valores entre 0,735 e 0,876); para avaliar entre os indicadores externos e seus respectivos construtos; e o Coeficiente de Bentler-Bonnet para o modelo global (com valores entre 0,775 e 0,912).

RESULTADOS OBTIDOS

Os resultados das relações estruturais obtidos no Modelo estão resumidos na Tabela 3. Nela são apresentados os coeficientes padronizados, calculados nas relações internas do modelo (entre variáveis latentes), bem como os coeficientes de determinação de cada construto endógeno do modelo em faixas, que compreendem os valores máximos e mínimos obtidos pelas concessionárias pesquisadas.

Avaliando as relações propostas, percebe-se que a relação Desconformidade -> Valor Percebido não é forte, bem como o poder de explicação sobre esta última é baixo. Apesar de o valor máximo ter sido de 0,48, os valores tipicamente estiveram próximos a 0,10. Isso provavelmente se deve à característica do setor de energia no Brasil. O usuário deste serviço não tem opções de fornecedores alternativos, e ainda não possui poder suficiente para barganhar preços menores para seu fornecimento. Sendo assim, as melhorias na qualidade dos serviços não correspondem, na maioria dos casos, a uma percepção mais adequada do valor percebido por este usuário, diferentemente dos resultados verificador por Fornell et al. (1994) em mercados competitivos. Em situações monopolistas, fatores que agem diretamente sobre as tarifas (acréscimos, decréscimos, descontos, parcelamentos etc.) devem surtir efeitos maiores sobre o Valor Percebido do que as mudanças da Qualidade nos Serviços.

Este fato pode ainda ser explicado pela característica das expectativas associadas a serviços de consumo continuado. Segundo pesquisas anteriores, nestas situações as expectativas geradas têm uma característica Normativa, ou seja, o padrão de atendimento é a referência que os usuários deste tipo de serviço têm para suas avaliações. Ao mesmo tempo, estes têm pouca ou nenhuma capacidade de negociação com seus fornecedores de energia, o que implica incapacidade de alterar seus custos com energia elétrica, independentemente do nível de qualidade oferecido. Desta forma, o peso relativo entre estes construtos resultou em valores baixos.

Já a avaliação da relação entre Desconformidade Percebida e Satisfação é forte, como previsto no Paradigma da Desconformidade (Oliver, 1980, 1981). Apesar de existirem algumas exceções, o coeficiente padronizado desta relação manteve-se acima de 0,60 para a maior parte das companhias, o que ressalta a grande influência da qualidade dos serviços prestados ao usuário, na avaliação da Satisfação Global destes; portanto investimentos na melhoria dos sistemas de fornecimento, nos sistemas de atendimento ao consumidor, no acesso a empresa e em informações prestadas ao usuário devem resultar em melhorias na satisfação destes.

A relação Valor Percebido - Satisfação Global mostra-se ambígua, porque a sua influência pode ser tanto positiva quanto próxima de zero, apesar da maioria dos coeficientes indicarem ser esta positiva, mas fraca. Novamente a característica da distribuição de energia elétrica no Brasil propicia este resultado. Como as concessões hoje não permitem que o usuário residencial escolha fornecedor ou trabalhe a perspectiva do preço dos serviços, a influência do valor percebido sobre a Satisfação tornou-se baixa. Esta perspectiva abre uma frente para explicar por que os usuários sempre percebem estes serviços como caros, apesar de avaliarem seus fornecedores como de boa qualidade.

O poder de explicação da Desconformidade e do Valor Percebido sobre a Satisfação é alto, com mediana próxima a 50% para as empresas em questão. O valor alcançado mostra que a aplicação daqueles construtos como antecedentes desta, amplia a capacidade de explicação das variações sobre a Satisfação, normalmente em níveis de 30%, em projetos que somente consideram a Qualidade Percebida (Desconformidade) como seu antecedente (Prado, 1997; Prado 2003). Este fato reforça o comentário de que a melhoria da qualidade do serviço percebida pelo consumidor reflete-se em melhoria na satisfação deste. Por ser baixa a influência do Valor sobre a Satisfação, o maior poder de explicação provêm da Desconformidade.

Por fim, a relação entre Satisfação e Fidelidade apresentou valores relativamente baixos, apesar de consistentes. O poder de explicação da Satisfação sobre a Fidelidade mostrou-se também pequeno. O que se percebe neste caso é uma tendência de que empresas com indicadores de Satisfação Global mais altos apresentem maior influência nesta relação. Pelo formato de mensuração utilizado com cenários de possível entrada de concorrentes, e por se tratar de mercado monopolista em nível de consumidor final, este não tem hoje capacidade de avaliar seu grau de fidelidade, pois não existem opções definidas para a troca, além de não haver parâmetros de comparação para esse tipo de serviço, como referências ao usuário. Esse resultado ainda reforça a idéia de que a relação entre essas variáveis pode ser não linear, e sofre intervenção de outros aspectos que não estão presentes no modelo em estudo, como a Confiança (Morgan e Hunt, 1994; Santos 2001; Singh et al. 2000), e o Comprometimento com a empresa (Morgan e Hunt, 1994).

Cálculo dos Indicadores do Modelo Estrutural

A intenção da metodologia descrita não foi somente verificar as relações entre os construtos, mas também gerar escores que permitam a interpretação dos resultados de cada variável latente do modelo, possibilitando a comparação entre o desempenho das diferentes concessionárias no Brasil. Para este cálculo, utilizou-se o procedimento sugerido por Fornell (1992), que consiste em ponderar as médias de desempenho, obtidas nos construtos, pelos pesos resultantes do modelo de mensuração. Por exemplo, o escore de Satisfação deve ser composto pelos seus indicadores (Satisfação Global, Desconformidade Global, e Distância para uma Empresa Ideal), ponderados pelos seus carregamentos.

Ainda neste cálculo, deve-se considerar a amplitude da escala, ou seja, numa avaliação péssima, os escores mínimos alcançados correspondem ao ponto 1 nas três escalas, ponderados pelos pesos de cada indicador na variável latente, e não ao ponto 0. Da mesma forma, o escore máximo possível de ser alcançado é o ponto 10 em cada escala. Assim, com objetivo de padronizar esses escores, foi feito novo escalonamento, cujo ponto mínimo deve ser 0 e o ponto máximo deve ser 100 pontos.

Portanto, para o cálculo do Índice ANEEL de Satisfação do Consumidor (IASC) de cada empresa, deve-se considerar a posição relativa da empresa com referência ao ponto máximo possível de ser alcançado por ela. Representando matematicamente:

onde:

pi = peso calculado pelo modelo estrutural da empresa para o indicador i (carregamento do item i na variável latente Satisfação)

xi = média do indicador i para a empresa em estudo

Max (.) = valor máximo da escala do indicador i

Min (.) = valor mínimo da escala do indicador i

Este mesmo procedimento foi utilizado para calcular os indicadores das outras variáveis latentes. A Tabela 4 apresenta os resultados para os 4 construtos do modelo. Uma coluna adicional apresenta os escores médios nacionais. Estes foram obtidos por meio da média ponderada pelo número de consumidores das diversas concessionárias.

Os resultados mostram que os usuários dos serviços de energia elétrica avaliam no limite entre conceitos regulares e bons no Indicador ANEEL de Satisfação Global (IASC). Considerando os benchmarks internacionais, como o ACSI (EUA) do 3º trimestre de 2000, cujo valor foi de 72,90%⁽⁷⁾, e do setor de Utilities (EUA) em 2000, que foi de 75,00%, existe ainda espaço para ampliação e melhorias nos serviços de forma a alinhar esses resultados aos padrões internacionais; mas, mesmo nos EUA, poucas são as empresas que ultrapassam os limites de excelência no indicador de satisfação por esse método.

Ainda, a tabela mostra que a percepção de valor por parte do usuário indica níveis baixos. Este aspecto reforça a necessidade de as companhias brasileiras de energia trabalharem a dimensão clara dos benefícios da energia aos seus consumidores, mostrando como ela tem facilitado a vida dos cidadãos brasileiros, além da necessidade de infra-estrutura e capacidade técnica para que todos os lares brasileiros sejam atendidos com o serviço de energia.

Por fim, a perspectiva da fidelidade indica que estes consumidores, se expostos a algum estímulo de troca (vantagens de preço, de fornecimento mais adequado, ou de melhor atendimento) tendem a trocar de empresa. Apesar de indicadores de satisfação acima dos 60%, os indicadores de fidelidade permanecem abaixo dos 40%, o que mostra que, apesar de relativamente satisfeitos, estes consumidores tendem a trocar de fornecedor, se houver esta possibilidade e se este oferecer vantagens claras aos seus potenciais usuários.

Foram avaliados também os erros reais dos indicadores de satisfação, como forma de verificação da validade dos escores obtidos. Este processo foi feito calculando o erro com base na variância conjunta apresentada pelos indicadores de cada empresa. Este erro variou de 1,36% a 3,86%. Os valores mostram que, comparativamente ao erro teórico calculado a partir do tamanho da amostra (em torno de 5%), estes modelos oferecem a possibilidade de criar indicadores confiáveis, mesmo com amostras menores.

CONSIDERAÇÕES FINAIS

Este artigo apresentou um modelo de avaliação da satisfação do consumidor quanto ao setor elétrico brasileiro, baseado em modelo de equações estruturais. Nele, foram insertos os construtos da desconformidade com os serviços de distribuição de energia elétrica, avaliados a partir da percepção dos seus diversos componentes e do valor percebido como antecedentes da satisfação. Também criou-se uma variável latente, representando a satisfação global, e esta foi utilizada para avaliar os resultados globais de cada concessionária de energia. Complementando o modelo, inseriu-se também o construto da fidelidade, avaliado por meio de cenários em que o consumidor era exposto a vantagens, verificando-se se este tinha intenção de troca.

Os resultados obtidos indicam um modelo de grande validade e consistência interna, bem como flexível para mensurar a satisfação em diversas situações: para diferentes portes de empresa, regiões do país etc. Sob o ponto de vista da Agência Nacional de Energia Elétrica (ANEEL), este modelo permitiu o acompanhamento de todas as concessionárias de energia brasileiras sob a forma de indicadores globais (satisfação global) e específicos (itens de desconformidade), como elemento chave de informações, sob a ótica do usuário deste tipo de serviço. Da mesma forma, o modelo permite a esta agência que mantenha um banco de dados relativo à evolução destes indicadores, para avaliar também a evolução da satisfação do consumidor, comparativamente às propostas de estratégia de melhoria. Ainda, permite-se estabelecer modelos de associação para cada empresa, de forma a facilitar o diagnóstico de problemas e de suas possíveis soluções, com base na visão do consumidor de energia elétrica no país.

Da mesma forma, a replicação desta metodologia em outros setores da economia brasileira vão permitir a comparação de desempenho entre elas e com benchmarks internacionais, hoje difundidos pelo mundo.

NOTAS

Artigo recebido em 25.05.2003.

Aprovado em 28.05.2004.

Renato Marchetti, é Doutor em Ciências da Gestão, pela École des Hautes Études Commerciales (HEC-PARIS), Professor de Marketing do Programa de Mestrado em Administração (PPAD-PUCPR), da Pontifícia Universidade Católica do Paraná. Suas áreas de interesse em pesquisa são comportamento do consumidor e estratégias de marketing.

Endereço: Rua Imaculada Conceição, 1155, Prado Velho, Curitiba, PR, Brasil, CEP 80215-901. E-mail: [e-mail]

Paulo H. M. Prado, é Doutor em Administração de Empresas pela Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas, Professor Assistente da Universidade Federal do Paraná. Suas áreas de interesse em pesquisa são respostas do consumidor posteriores a compra, marketing de relacionamento B2C e modelos de equações estruturais aplicados ao marketing.

Endereço: Rua Pref Lothário Meissner, 3400, 2º andar, sl. 17, Curitiba, PR, Brasil, CEP 80210-140. E-mail: [e-mail]

• BARDON, M.C. Les mesures de satisfaction de clientèle: Comment assurer leur opérationnalité dans les entreprises de services. Revue Française du Marketing, Paris: n.144/145, 91 p. 1993.
• BEARDEN, W.O.; TEEL, J.E. Selected determinants of consumer satisfaction and complaints reports. Journal of Marketing Research Chicago: AMA, v.20, n.1, p. 21-28, feb. 1983.
• CADOTTE, E.R.; WOODRUF, R.B.; JENKINS, R.L. Expectations and norms in models of consumer satisfaction. Journal of Marketing Research Chicago: AMA, v.24, n.3, p. 305-314, aug. 1987.
• CARVALHO, F.; LEITE, V.F. Refinando a conjectura PBZ: uma revisão da relação entre importância e tolerância em qualidade em serviços. In: ENCONTRO ANUAL DA ANPAD, 23., 1999, Foz do Iguaçu. Anais... Foz do Iguaçu: ANPAD, 1999. p.116.
• CARVALHO, F.; LEITE, V.F. Alternativa de ordenação da importância de atributos da qualidade de serviços: um estudo exploratório sobre o efeito de tamanho do choice set. In: ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do Iguaçu. Anais... Foz do Iguaçu: ANPAD, 1998. p.111,
• CHURCHILL, Jr., G.A. A paradigm for better measures of marketing constructs, Journal of Marketing Research, Chicago: AMA, v.16, n.1, p.64-73, feb, 1979.
• CHURCHILL, Jr., G.A.; SUPRENANT, C. An investigation into the customer satisfaction. Journal of Marketing Research Chicago: AMA, v.19, n.4, p. 491-504, nov., 1982.
• CRONIN, J.J.; TAYLOR, S.A. Measuring service quality: a reexamination and extension. Journal of Marketing, Chicago: AMA, v.56, n.3, p.55-68, jul., 1992.
• CRONIN, J.J.; TAYLOR, S.A. Servperf versus servqual: Reconciling performance-based and Perceptions-minus-expectations measurement of service quality. Journal of Marketing, Chicago: AMA, v.58, n.1, p.125-131, jan., 1994.
• ENGEL, J.F.; BLACKWELL, R.D.; MINIARD, P.W. Consumer Behavior Forth Worth: Dryden Press, 1993.
• EVRARD, Y. A. Two-step model of satisfaction with public trasportation, Journal of Consumer Satisfaction/Dissatisfaction and Complaining Behavior v. 4, p. 93, 1991. Disponível em http://www.vancouver.wsu.edu/csdcb/about.htm#journal Acesso em: 05 july2004
• EVRARD, Y. A. Satisfaction des consommateurs: état des recherches. ENCONTRO ANUAL DA ANPAD, 17., 1993, Salvador. Anais.... Salvador: ANPAD, 1993.
• EVRARD, Y.; AURIER, P. The influence of emotions on satisfaction with movie consumption. Journal of Consumer Satisfaction/Dissatisfaction and Complaining Behavior v. 7, p. 119, 1994. Disponível em http://www.vancouver.wsu.edu/csdcb/about.htm#journal Acesso em: 05 july 2004.
• FALK, R.F.; MILLER, N.B. A Primer for Soft Modeling Nova York: Akron Press, 1992.
• FOLKES, V.S. Consumer reactions to product failure: an attributional approach. Journal of Consumer Research Chicago: University of Chicago Press, v. 10, n.1, p. 398-409, mar., 1984.
• FORNELL, C. A national customer satisfaction barometer: the sweedish experience. Journal of Marketing Chicago: AMA, v. 56, n.1, p. 6-21, jan., 1992.
• FORNELL, C. et al. The american customer satisfaction index: Nature, purpose and findings. Journal of Marketing, Chicago: AMA, v. 58, n. 4, p. 7-18, oct., 1994.
• HAISTEAD, D. Expectations and disconfirmation believes as predictors of consumer satisfaction, repurchase intention, and complaint behavior. Journal of Consumer Satisfaction/Dissatisfaction and Complaining Behavior v. 2, p. 17-21, 1989. Disponível em http://www.vancouver.wsu.edu/csdcb/about.htm#journal Acesso em: 05 july2004
• HOWARD, D.J., SHETH, J.N.S. The theory of buyer behavior, Nova York: John Wiley, 1969.
• HUNT, H.K. CS/D: overview and future research direction, In: HUNT, H.K. (Ed.) Conceptualization and measurement of consumer satisfaction and dissatisfaction, Ann Harbor: MSI, 1977.
• JONHSTON, D.M. Hospital service quality measurement: An empirical assessment of the GAP model and the performance model. In: ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do Iguaçu. Anais... Foz do Iguaçu: ANPAD, 1998.
• JONHSTON, D.M.; LUCE, F.B. As escalas Servqual e Servperf no setor de serviços bancários. In: ENCONTRO ANUAL DA ANPAD, 20., 1996.Rio das Pedras. Anais... Rio das Pedras: ANPAD, 1996.
• KOTLER, P.; DUBOIS, B. Satisfaire la clientèle à travers la qualité, le service et la valeur. Revue Française du Marketing, Paris, n.144-145, p.35, 1993.
• LaBARBERA, P.A.; MAZURSKY, D. A longitudinal assessment of consumer satisfaction/dissatisfaction: the dynamic aspect of the cognitive process. Journal of Marketing Research Chicago: AMA, v. 20, n. 4, p. 393-404, nov., 1983.
• MANO, H.; OLIVER, R.L. Assessing the dimensionality and structure of the comsumption experience: Evaluation, feeling, and satisfaction. Journal of Consumer Research, Chicago: University of Chicago Press, v. 19, n. 4, p. 451, dec., 1993.
• MORGAN, R.M.; HUNT, S. The Commitment-Trust Theory of Relationship Marketing. Journal of Marketing, Chicago: AMA, v. 58, n. 3, p. 20-38, jul., 1994.
• OLIVER, R.L. Effect of expectations and disconfirmation on postexposure product evaluations: an alternative interpretation. Journal of Applied Psychology, Washington: APA, v. 62, n. 4, p. 480-486, aug, 1977.
• OLIVER, R.L. A cognitive model of the antecedents and consequences of satisfaction decisions. Journal of Marketing Research Chicago: AMA, v. 17, n. 4, p. 460-469, nov., 1980.
• OLIVER, R.L. Measurement and evaluation of satisfaction processes in retailing settings. Journal of Retailing Amsterdam: Elsevier, v. 57, n. 3, p. 25-48, 1981.
• OLIVER, R.L. Processing of the satisfaction response in consumption: a sugested framework and research propositions. Journal of Consumer Satisfaction/Dissatisfaction and Complaining Behavior n. 2, p.1-15, 1989. Disponível em http://www.vancouver.wsu.edu/csdcb/about.htm#journal Acesso em: 05 july2004
• OLIVER, R.L. Cognitive, affective, and attribute bases of the satisfaction response. Journal of Consumer Research, Chicago: University of Chicago Press, v. 19, n. 4, p. 418, dec, 1993.
• OLIVER, R.L. Satisfaction: a behavioral approach Nova York: McGraw-Hill, 1997.
• OLIVER, R.L.; DeSARBO, W.S. Response determinants in satisfaction judgments. Journal of Consumer Reserach, Chicago: University of Chicago Press, v. 14, n. 1, p. 495, mar., 1988.
• OLIVER, R.L.; SWAN, J.E. Equity and disconfirmation perceptions as influences on merchant and product satisfaction. Journal of Consumer Research, Chicago: University of Chicago Press, v. 15, n. 4, p. 374, dec., 1989.
• PARASURAMAN, A.; ZEITHAML, V.; BERRY, L. SERVQUAL: a multiple-item scale for measuring consumer perceptions of service quality. Journal of Retailing, Amsterdam: Elsevier, v. 64, n. 1, p. 12-40, sprig 1988.
• PARASURAMAN, A.; ZEITHAML, V.; BERRY, L. Alternative scales for measuring service quality: a comprative assessment on psychometric and diagnostic criteria Journal of Retailing, Amsterdam: Elsevier, v. 70, n. 3, p. 201-230, fall 1994.
• PERRON, F. La qualité de service: Une comparaison de l'évaluation des écarts avec les performances appliquées à la zone d'achat. Recherche et Applications en Marketing, Grenoble, v.13, n.3, p.3, 1998.
• RICHINS, M. Measuring emotions in the comsumption experience. Journal of Consumer Research Chicago: University of Chicago Press, v. 23, n. 3, p. 127, sept., 1997.
• SANTOS, C. P. Impacto do gerenciamento de reclamações na confiança e lealdade do consumidor, no contexto de trocas relacionais de serviços: Construção e Teste de um Modelo Teórico 2001. 253 f. Tese (Doutorado em Administração) PPGA-UFRGS, Porto Alegre, 2001.
• SINGH, J. Understanding the structure of consumer satisfaction evaluation of services delivery. Journal of Academy of Marketing Science Thousand Oaks: Sage, v. 16, n.2, p. 204-212, may, 1988.
• SINGH, S.; SIRDESHMUKH, D. Agency and trust mechanisms in consumer satisfaction and loyalty judgments. Journal of the Academy of Marketing Science, Thousand Oaks: Sage, v. 28, n. 1, p. 150-167, feb., 2000.
• TEAS, R.K. Expectations, performance evaluation, and consumers' perceptions of quality. Journal of Marketing, Chicago: AMA, v. 57, n. 3, p. 18-34, oct., 1993.
• TSE, G.K.; WILTON, P.C. Models of consumer satisfaction formation: an extention. Journal of Marketing Research Chicago: AMA, v. 25, n. 2, p. 204-212, may, 1988.
• URDAN, A.T.; RODRIGUES, A.R. O modelo do índice de satisfação do consumidor norte americano: um exame inicial no Brasil com equações estruturais. In: ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do Iguaçu. Anais... Foz do Iguaçu: ANPAD, 1998.
• WEAVER, D.; BRICKMAN, P. Expectancy, feedback, and disconfirmation as independent factors in outcome satisfaction. Journal of Personality and Social Psychology Washington: APA, v. 30, n. 3, p. 420-428, mar., 1974.
• WESTBROOK, R.A. Intrapersonal affective influences on consumer satisfaction with products. Journal of Consumer Research, Chicago: University of Chicago Press, v. 6, n. 2, p. 49, june, 1980.
• WESTBROOK, R.A. Product/Consumption-based affective responses and postpurchase processes. Journal of Marketing Research, Chicago: AMA, v. 24, n.3, p. 258-270, aug., 1987.
• WITTINK, D. R.; BAYER, L.R. The measurement imperative. Marketing Reserach, Chicago: AMA, v. 3, n. 4, fall, p.14-21, 1994.
• YI, Y. A critical review of consumer satisfaction. In: ZEITHAML, V.A. Review in marketing Ann Harbor: AMA, 1990. p. 68-113.

1

Os dois autores contribuíram igualmente para o desenvolvimento deste artigo.

2

Apesar de conceitualmente a satisfação do consumidor e a qualidade percebida serem diferentes, ambas utilizam-se de métodos de mensuração baseadas no paradigma da desconformidade. Desta maneira, algumas das técnicas citadas neste trabalho podem ser aplicadas a ambas as mensurações.

3

A opção por uma escala de 10 pontos foi feita para maximizar o contraste entre as mensurações, e melhorar a sua confiabilidade (Wittink e Bayer, 1994).

4

A confiabilidade proposta aqui, complementarmente ao coeficiente alfa de Cronbach, é calculada também sobre a variância de cada indicador não utilizada para explicar o escore do construto correspondente (valores devem estar acima de 0,80), através da equação (Falk e Miller, 1992; Fornell, 1992):

5

A variância extraída é um indicador do poder de explicação dos indicadores sobre o construto, ou seja, o quanto da variância total de cada indicador é utilizada para compor a avaliação do construto. Para que a medida seja calculada com nível de erro satisfatório, estes valores devem ser superiores a 0,50 (Falk e Miller, 1992; Fornell, 1992). É calculada por:

6

O primeiro mede o erro global do modelo (

RMS), que deve ser o mais próximo de 0 possível. O segundo é o poder de explicação geral dos indicadores sobre o construto (

Coeficiente de Comunalidade), que deve ser o mais próximo de 1. Por fim, é apresentado um indicador de adequação das relações entre construtos (

Coeficiente de Bentler-Bonnet), que também deve ser próximo de 1 (Falk e Miller, 1992).

7

Fonte:

site da Michigan University (

www.umic.edu).

Datas de Publicação

• Publicação nesta coleção
  24 Mar 2009
• Data do Fascículo
  Dez 2004

Histórico

• Recebido
  25 Maio 2003
• Aceito
  28 Maio 2004