Um método construtivista para a avaliação em saúde

A Constructivist method for health evaluation

ARTIGO

ARTICLE

Juarez Pereira Furtado ¹

Um método construtivista para a avaliação em saúde

A Constructivist method for health evaluation

¹ Departamento de Medicina Preventiva e Social, Faculdade de Ciências Médicas, Unicamp Campus Universitário Zeferino Vaz - Caixa Postal, 6.111 - 13081-970 - Barão Geraldo, Campinas, SP [e-mail]

Abstract This paper realizes an investigation about the most adequate methods to evaluate services and programs based in questions placed by the health politics of deinstitutionalization and by the limitations of the orthodox evaluation. We explore different concepts of programs and services evaluation and identify a potential to excel some of these issues in the proposal of the fourth generation method (Guba & Lincoln, 1989). Finally we propose an approximation of the Paidéia method (Campos, 2000-a) to the fourth generation method, trying to connect evaluation to participative management system.

Key words Health evaluation Programs evaluation, Deinstitutionalization

Resumo Este texto realiza uma investigação sobre métodos potencialmente mais adequados para a avaliação de serviços e programas a partir das questões apresentadas pela política de desinstitucionalização em saúde e pelas limitações da avaliação ortodoxa. Percorremos diferentes concepções de avaliação de programas e serviços e identificamos na proposta de avaliadores de quarta geração (Guba & Lincoln, 1989) potencial capaz de superar alguns destes impasses e questões. Finalmente propomos a aproximação do Método Paidéia (Campos, 2000-a) à abordagem de Avaliação de Quarta Geração, procurando estabelecer coerência entre avaliação e sistema de gestão participativa.

Palavras-chave Avaliação em saúde, Avaliação de programas, Desinstitucionalização

I - A avaliação no contexto da desinstitucionalização

Ao nos propormos a analisar serviços e programas de atendimento domiciliar em saúde nos deparamos com dois temas complexos: a influência da chamada política de desinstitucionalização sobre os mesmos e o vasto campo da avaliação de programas e serviços.

Embora iniciada de forma pioneira no Brasil, em 1967, no Hospital do Servidor Público Estadual de São Paulo (Maciel et al., 1999), a expansão do atendimento domiciliar no Brasil ocorreu somente no final da década de 1980 e início dos anos 90 a partir de sua incorporação no sistema público de saúde (SUS) em algumas cidades do país.¹

Esta forma de atendimento é operacionalizada através de serviços de atendimento e internação domiciliar para doenças somáticas, até então tratadas em hospitais e ambulatórios. Nesta nova modalidade de atenção em saúde, nota-se um deslocamento do tradicional setting institucional, hospitalar ou ambulatorial, imbuídos de poderes especiais pelo imaginário popular, para o domicílio do paciente ou de seus familiares.

As tendências de redução dos custos da saúde no contexto de políticas neoliberais (Rizzotto, 2000), o desenvolvimento de tecnologias que permitem a efetivação no domicílio de práticas até então somente possíveis nos hospitais e o aumento da população idosa com o conseqüente aumento da demanda por atenção a longuíssimo prazo (Colvez & Ridez, 1996) podem ser apontados como importantes fatores confluentes à expansão da chamada desinstitucionalização na área da saúde e da redefinição do papel do hospital geral e da atenção básica (Bittar, 1997; Ribeiro, 1993).

Desinstitucionalização aqui entendida como uma reorganização política, organizacional e clínica, efetivada através de uma transposição modificada e adaptada dos cuidados exercidos no interior do hospital para a comunidade - principalmente a residência do usuário. Este processo pressupõe a inserção de novos participantes em sua condução (Mercier, 1990) como familiares, vizinhos, grupos religiosos e outros serviços sociais ou de saúde. Ainda na área da saúde, mas no contexto da reforma psiquiátrica, este mesmo termo assume conotações específicas.²

Ao nos propormos a avaliar serviços e programas em saúde nos deparamos tanto com questões propriamente intrínsecas ao campo da avaliação quanto com outras suscitadas ao processo avaliativo pelo advento de ações ligadas a desinstitucionalização.

As modificações das condições clássicas em que se davam os processos avaliativos - nas quais o espaço intra-muros garantia certa uniformidade e coordenação das atividades - geraram sensível impacto no campo da avaliação e estimularam a multiplicação de diferentes abordagens nesta área (Mercier, 1990).

Para Mercier (1990), o processo de desinstitucionalização faz emergir problemas importantes à metodologia da avaliação, pois entre outras questões: 1) torna-se impossível isolar a intervenção como tal, pois ela passa a englobar ao mesmo tempo, como já citado, diferentes atores (profissionais, voluntários, cuidadores, familiares etc.) e diferentes setores (saúde, educação, justiça etc.); 2) a individualização da abordagem e sua característica multidimensional põem em cheque a noção de medida fundada sobre a homogeneidade dos dados; 3) para adaptar-se às características do meio e da clientela, num contexto de individualização da atenção, os programas ligados a desinstitucionalização diferem entre si com relação às prioridades, serviços oferecidos e modos de organização.

Se por um lado, o contexto da desinstitucionalização coloca novos desafios à pesquisa avaliativa, por outro, o campo da avaliação é complexo e apresenta outras questões como veremos a seguir.

As questões colocadas tanto pela desinstitucionalização de serviços e programas quanto pelo próprio campo da avaliação serão o ponto de partida para as discussões formuladas neste texto em torno da proposição de um percurso avaliativo construtivista e participativo junto a um serviço de atendimento domiciliar, que venha a superar alguns dos impasses oriundos da avaliação ortodoxa.

II - A avaliação de programas e serviços³ - questões conceituais

Para Patton (1982) a avaliação como campo conceitual e de trabalho não está bem definida: o papel do avaliador carece de clareza e os conceitos da área são utilizados de formas diferentes, além do que são criados freqüentemente novos conceitos que redundam numa imensa diversidade terminológica (Silva & Formigli, 1994). Esta profusão do número e significados de conceitos ao mesmo tempo indica a riqueza do campo da avaliação e gera dificuldades à comunicação clara sobre o tema (Patton, 1982).

Isto pôde ser comprovado quando o autor agrupou seis tipos de avaliações e as combinou com outros seis tipos de ênfase que cada uma delas dava aos objetivos, métodos, comparação, valor, tomada de decisão e coleta de informações. As 36 combinações resultantes foram insuficientes para classificar menos da metade dos 170 relatórios das avaliações federais que o autor encontrou nos arquivos do Office Health Evaluation (Patton, 1982) o que parece indicar que cada avaliador constrói a sua definição (Denis & Champagne, 1997).

Se adotado o referencial epistemológico de Kuhn (1987), essa diversidade de nomenclatura e significados indicaria um estado pré-paradigmático no campo da pesquisa avaliativa (Mercier, 1993). Um tal estágio caracterizaria-se por haver tantas teorias quanto trabalhadores (Chalmers, 1993).

As possibilidades e limitações do ponto de vista epistemológico, metodológico e prático do campo da avaliação é extensamente discutido em texto organizado por Cook & Reichardt (1997), tendo como fio condutor o debate entre a utilização de métodos quantitativos e qualitativos na pesquisa avaliativa.

A despeito de eventuais deficiências de ordem epistemológica, para Guba & Lincoln (1989) o campo da avaliação vem sofisticando-se desde o seu surgimento, sendo que seu percurso histórico nos últimos cem anos pode ser divido em quatro gerações:

A primeira geração se caracterizaria pela mensuração e estaria atrelada a avaliação do desempenho de escolares. Dois fatores influenciaram o desenvolvimento desta primeira geração: a ascensão das ciências sociais (imbuídas do paradigma das ciências físicas) e o surgimento do gerenciamento científico nas indústrias. Durante os 30 primeiros anos do século XX os termos "avaliação" e "mensuração" tornaram-se intercambiáveis e é notável a proliferação de textos contendo propostas de testes para escolares. Nesta fase o avaliador é essencialmente um técnico que deve construir e usar instrumentos que meçam, entre outros, resultados escolares, inteligência, produtividade dos operários etc.

Com a segunda geração, caracterizada pela descrição, nasce a chamada avaliação de programas, surgida da necessidade identificada nos EUA de saber como funcionam, na prática, os currículos escolares: trata-se de identificar e descrever o processo e como a atividade atinge (ou não) seus resultados e não somente de medir resultados, como na geração anterior. Ralph W. Tyler, membro do Escritório de Pesquisas em Educação da Ohio State University é um dos pioneiros a conceber e introduzir essa nova forma de avaliação, a partir da análise de currículo.

A terceira geração se caracterizaria pelo julgamento e tem seu marco inicial a partir do final dos anos 50. O avaliador continua a exercer a função de descrever e mensurar agora acrescida daquela de estabelecer os méritos do programa avaliado, baseando-se em referenciais externos.

No entanto, para Guba & Lincoln (1989), existem graves problemas e limitações comuns às três gerações de avaliadores citadas acima e que se caracterizariam por:

• tendência à supremacia do ponto de vista gerencial nos processos avaliativos;

• incapacidade em acomodar o pluralismo de atores e projetos envolvidos em torno de qualquer programa;

• hegemonia do paradigma positivista: desconsideração do contexto, privilégio de métodos quantitativos, crença numa verdade única e absoluta caracterização como "não científico" tudo que fuja ao que foi anteriormente citado e desresponsabilização moral e ética do avaliador (já que a ciência seria livre de valores).

A partir de tais críticas os autores propõem o que eles mesmos intitularam como a Quarta Geração de Avaliadores que seria uma alternativa aos referenciais anteriores, tendo como base uma avaliação inclusiva e participativa.

Essa divisão em gerações de avaliadores é essencialmente didática e na realidade os diversos referenciais de avaliação coexistem, calcados em diversos eixos metodológicos.

A Organização Mundial de Saúde vincula o processo avaliativo ao planejamento, já que a avaliação deveria ser utilizada para tirar lições da experiência e aperfeiçoar atividades em curso ou a serem implantadas (OMS, 1981). Para Cohen & Franco (1998) a avaliação deve estar voltada para a maximização da eficácia dos programas e para a obtenção da eficiência na utilização dos recursos. Aqui, a avaliação assume um caráter instrumental, voltado para a otimização do desempenho e para a utilização dos recursos, privilegiando a ótica gerencial.

A despeito de toda a diversidade e de discordâncias sobre os vários aspectos da avaliação, para alguns autores existe consenso com relação ao fato de que avaliar significa emitir um juízo de valor sobre uma intervenção ou um de seus componentes (Guba & Lincoln, 1987; Silva & Formigli, 1994; Aguilar & Ander-Egg, 1995; Contandriopoulos et al., 1997-b; Desrosiers et al., 1998).

A consideração da avaliação como um processo que inevitavelmente recorrerá ao julgamento de valor significa um avanço ao lidar com este importante e inevitável componente do processo avaliativo. Afinal, mesmo que se lance mão de métodos quantitativos - pretensamente mais objetivos - os resultados da mensuração efetuada serão sempre julgados a partir de méritos e valores impossíveis de serem objetivados. O julgamento se dará, na verdade, a partir da confrontação entre o objeto da avaliação e um referencial que poderá ser os objetivos iniciais do projeto, as normas profissionais, o desempenho de um programa similar ou outros referenciais não explicitados por diferentes motivos. De qualquer forma, as normas e critérios a serem utilizados para conferir um julgamento ao final da avaliação serão influenciados pelos grupos que o definem, sejam usuários, profissionais ou gerentes, entre outros (Desrosiers et al., 1998).

Porém, a admissão de que avaliar significa, em última instância, emitir juízo de valor, ainda que considere um aspecto importante da avaliação, necessita ser acompanhada de uma ampliação e diversificação dos eixos em torno dos quais são emitidos tais julgamentos. Torna-se necessário, no processo avaliativo, a inclusão de diferentes e eventualmente divergentes julgamentos, a serem realizados a partir dos distintos pontos de vista dos grupos envolvidos com um programa ou serviço, o que justificará a inclusão de representantes de diferentes grupos de interesse no processo, como veremos mais adiante.

A avaliação pode, segundo as funções que deve cumprir, ser classificada em "somativa" ou "formativa" (Aguilar & Ander-Egg, 1995; Rossi et al., 1999). A avaliação "formativa" visa fornecer informações para adequar e superar aspectos problemáticos do programa durante o seu andamento, enquanto a avaliação do tipo "somativa" fornece julgamentos sumários sobre aspectos fundamentais do programa, sendo freqüentemente utilizada para deliberar sobre a continuidade ou o encerramento de um programa baseando-se na especificação de até que ponto os objetivos propostos foram atingidos.

A avaliação do tipo somativa, voltada unicamente para os efeitos produzidos pelo programa, baseia-se no modelo da caixa-preta, prescindindo da análise de correlações entre os diversos componentes da ação e dos efeitos daí resultantes (Rossi et al., 1999). Analisando os problemas e limites do modelo da caixa-preta, Denis & Champagne (1997) criticam o mesmo por pressupor a impermeabilidade da intervenção ao meio onde é introduzida. Para esses autores, na prática, os programas estão sujeitos a serem um amálgama resultante de várias influências: de outros serviços, dos gestores, das políticas e dos sujeitos envolvidos no processo (trabalhadores, usuários etc.), o que torna sensivelmente inadequado o modelo dicotômico da caixa-preta.

O modelo da caixa-preta enquadra-se na abordagem clássica ou experimental, se utilizarmos a tipologia das avaliações propostas por Cook & Reichardt (1997). Para os autores, essa forma de abordagem privilegia a análise dos efeitos dos programas, valendo-se de métodos quantitativos, calcados em um paradigma positivista, hipotético-dedutivo, voltado para o estabelecimento de inferências causais. Neste caso o ator da avaliação é o avaliador e os resultados do processo destinam-se a uma avaliação predominantemente do tipo somativa.

Para Hartz (1999), se por um lado a epidemiologia pode identificar variações nas probabilidades de resultados positivos ou colaterais de uma intervenção, por outro, um estudo epidemiológico nem sempre consegue expressar ou adaptar-se ao modelo lógico ou teórico que sustenta a entidade sob avaliação.

Abordagens voltadas para o desenvolvimento de intervenções - como a avaliação formativa - têm se multiplicado nas últimas duas décadas. São abordagens que favorecem a avaliação feita a partir do interior da intervenção e centrada na perspectiva dos clientes potenciais (Mercier, 1995), tais como a avaliação centrada na utilização dos resultados (Patton, 1997) e outras de cunho participativo (Feuerstein, 1990).

A abordagem centrada na teoria do programa permite a análise do conteúdo da caixa-preta ao evidenciar os fatores e os processos que originam os efeitos observados. Aqui o avaliador, juntamente com o grupo de implicados busca, de forma empírica, construir um modelo teórico relativo ao funcionamento do programa e/ou de seus efeitos e que servirá de referencial básico para as outras etapas da avaliação, sejam de caráter quantitativo ou qualitativo.

Para Rossi et al. (1999) a teoria do programa é um conjunto de conjecturas ligando de forma lógica os resultados que se espera que o programa atinja com as ações e estratégias desenvolvidas para atingir seus objetivos. A teoria do programa é mais inclusiva que o método clássico e permite, a partir da definição da forma como se supõe funcionar o programa, explicitada na construção do modelo teórico, selecionar os métodos mais pertinentes para a coleta e análise dos dados (Chen, 1990).

Finalmente, as abordagens participativas ou centradas nos usuários da avaliação têm como objetivo engajar os atores no processo de avaliação visando à sua capacitação e desenvolvimento, além de evitar ou minimizar eventuais efeitos negativos de uma avaliação sobre um dado grupo de implicados. Tais abordagens apóiam-se no paradigma holístico, indutivo e construtivista, sacrificando a objetividade e precisão em favor da utilidade social da pesquisa, sendo as questões da avaliação originárias dos usuários da mesma e visam ao incremento das potencialidades e à superação das limitações do programa ou serviço a partir de diferentes pontos de vista.

A participação e o envolvimento dos grupos de interesse no processo avaliativo e na construção de indicadores de avaliação vêm sendo discutidos ao longo das últimas décadas por vários pesquisadores da área (Patton, 1982; Weiss, 1983; Guba & Lincoln, 1987 e 1989; Campos, 1997; Mercier, 1995 e 1997; Rossi et al., 1999). Comumente designados pelo termo inglês stakeholders, mesmo em outros idiomas como o francês (Mercier, 1995), foram por nós traduzido como "grupos de interesse" ou "grupos implicados" (embora já tenha sido sugerido também o sucinto termo "implicados").

Questões lingüísticas à parte, grupos de interesse ou implicados ou ainda stakeholders são definidos como organizações, grupos ou indivíduos potencialmente vítimas ou beneficiários do processo avaliativo. De modo geral, os grupos de interesse são formados por pessoas com características comuns (pais, estudantes, gestores, usuários etc.) que têm algum interesse na performance, no produto ou no impacto do objeto da avaliação, isto é, estão de alguma maneira envolvidos ou potencialmente afetados pelo programa e por eventuais conseqüências do processo avaliativo (Weiss, 1983; Guba & Lincoln, 1989; Rossi et al., 1999).

III - A avaliação de programas e serviços - questões metodológicas

Devemos nos atentar para o fato de que a metodologia de pesquisa é muito mais do que a soma ou a aplicação de técnicas para uma determinada análise. Como sugere a própria etimologia da palavra, trata-se, antes de mais nada, de reflexão e estudo sobre o método (Bezzi, 1999). Daí que cada discussão metodológica é virtualmente uma possibilidade de análise e redefinição dos caminhos a serem utilizados em pesquisa a partir de questões suscitadas pelo pesquisador, os grupos de implicados e o próprio objeto da avaliação.

Seria possível efetivar um processo avaliativo que contemplasse as questões do avaliador-pesquisador e também dos grupos diretamente implicados na condução de um programa ou serviço, de tal modo a conjugar uma certa externalidade, garantida pelo primeiro, com as questões construídas e decantadas ao longo de anos de envolvimento direto com o tema, provenientes destes últimos? Seria possível não estabelecer transcendência a resultados (Campos, 2000-a) e adentrar em questões oriundas do próprio processo ou de efeitos não previstos? Quais questões seriam consideradas pertinentes a partir dos pontos de vista dos grupos de implicados com o serviço ou programa avaliado?

Como já afirmaram Schraiber & Nemes (1996) a respeito da avaliação do trabalho médico, não se trata de avaliar um procedimento ou uma técnica isoladamente nem se restringir ao impacto de uma intervenção mediante categorias clássicas da epidemiologia. Avaliar envolveria a consideração de várias ordens de problemas, o que aponta para a necessidade de superar as avaliações instrumentais baseadas nas normas fixas da clínica e da epidemiologia (Schraiber et al., 1999).

Interessa-nos aumentar o grau de compreensão dos processos envolvidos - que consideramos fundamental antes que se pretenda efetivar uma avaliação do alcance dos objetivos explicitados pelo programa. Compreender, no contexto da avaliação, entendido como a consideração dos sentidos atribuídos pelos grupos de envolvidos aos dados e fatos oriundos do processo (Bezzi, 1999). Servindo-nos da terminologia que vimos discutindo até aqui, faz-se necessário conhecer o conteúdo da caixa-preta que se interpõe entre os objetivos explicitados e os resultados alcançados pelo programa em questão num dado momento e num contexto específico.

A partir do ponto de vista e experiência dos diversos grupos implicados com um serviço ou programa, quais questões, reivindicações e indagações deveriam ser contempladas em um processo avaliativo? Que aspectos do cotidiano suscitam questões que, se consideradas, poderiam aumentar a utilização dos resultados da avaliação?

Os fundamentos da ciência que valorizam a objetividade e neutralidade do pesquisador vêm sendo colocados em questão nas últimas décadas (Alves,1987; Chalmers, 1993; Morin, 1995) em função de uma maior consideração das influências sociopolíticas e da própria individualidade do pesquisador sobre o estudo. Além do mais, em um contexto de restrição de orçamentos aos programas e serviços sociais (Rizzotto, 2000), a condução política do processo avaliativo e de seus resultados é considerável (Denis et al., 1996). A inclusão de eventuais beneficiários ou vítimas de um processo avaliativo - os chamados grupos de interesse - pode atenuar possíveis efeitos adversos dessas influências (Guba & Lincoln, 1989).

Em síntese, se por um lado a desinstitucionalização de serviços e programas nos faz deparar com a necessidade de compreensão crítica da efetivação desta nova política de prestação de cuidados em saúde representada pelo atendimento domiciliar, por outro, a prática da pesquisa avaliativa deve, a nosso ver, contemplar a necessidade de: 1) inclusão de diferentes pontos de vista e valores no processo avaliativo; 2) viabilizar e ampliar a utilização dos resultados da avaliação; 3) considerar o inevitável caráter político da pesquisa em geral e da pesquisa avaliativa em particular e 4) capacitar os diferentes envolvidos com o programa ou serviço avaliado.

Dentro do vasto campo da avaliação, uma abordagem centrada nos diversos atores envolvidos no processo, que desde a concepção do plano considere os diferentes valores e pontos de vista envolvidos, que apresente uma real preocupação com a utilização dos resultados do processo investigativo e que se utilize de métodos voltados para o estudo do fenômeno in situ, lançando mão de instrumentos provenientes da etnografia, antropologia e sociologia, nos parece mais apropriado para a superação de algumas questões da avaliação clássica, que vimos discutindo, além de contemplarem nosso interesse em apreender processo e contexto de uma nova forma de prestar assistência em saúde.

Tal posição é corroborada por Minayo (1996) para quem a pesquisa qualitativa se presta à avaliação de políticas públicas e sociais, do ponto de vista de sua formulação, aplicação técnica e dos usuários. Para a autora, devemos nos preocupar menos com a generalização e mais com o aprofundamento e abrangência da compreensão, o que torna ideal aquela amostra capaz de refletir a totalidade nas suas múltiplas dimensões.

Porém, a inclusão dos grupos de interesse ou a utilização de métodos qualitativos está longe de tornar-se hegemônica. A despeito da diversidade conceitual e terminológica, o conceito de avaliação ainda gravita em torno da idéia de aferir até que ponto os objetivos inicialmente propostos foram atingidos, ou seja, com freqüência prevalece a análise de resultados (senso estrito) ou efeitos "líquidos" do programa (Desrosiers et al., 1998; Cohen & Franco, 1998; Hartz, 1999).

É a partir destas questões oriundas das políticas de desinstitucionalização e do próprio campo da pesquisa avaliativa que passamos a investigar as possibilidades metodológicas que considerem efetivamente os desafios a que vimos referindo.

IV - A construção do processo avaliativo

A avaliação como dispositivo: do núcleo ao campo

Recentemente, Campos (2000-b) ampliou o alcance dos conceitos de núcleo e campo de competência e responsabilidade, aplicando-os na análise de determinadas áreas de saberes e sua organização em práticas. Estas proposições foram elaboradas para refletir sobre a inserção da saúde coletiva - suas especificidades nucleares e seu campo de ação dentro do quadro geral do pensamento na área de saúde.

Originalmente surgidos para estabelecer a compreensão de que existem atribuições específicas de determinada categoria profissional - que o autor chamou de núcleo de competência e responsabilidade - e demandas que extrapolam essas atribuições estabelecidas - que o autor chamou de campo de competência e responsabilidade - tais conceitos ajudaram a superar os impasses oriundos de um certo borramento das fronteiras entre as categorias profissionais e a jogar luzes sobre a penumbra constituída por demandas que permanecem à margem das questões focadas pelos núcleos de cada profissão.

Os conceitos de campo e núcleo de competência e responsabilidade fornecem importantes subsídios para a análise, compreensão e operacionalização de intervenções no âmbito da inter e transdisciplinaridade. Estes conceitos permitem simultaneamente a consideração das especificidades que conformam cada categoria profissional ou área do saber e suas articulações possíveis dentro dos espaços definidos por demandas complexas, que extrapolam as fronteiras estabelecidas pelos núcleos de determinadas profissões ou áreas do conhecimento.

Assim é que "núcleo" diz respeito aos elementos de singularidade que definem a identidade de cada profissional ou especialista e "campo" seria constituído por responsabilidades e saberes comuns ou convergentes a várias profissões ou especialidades (Campos, 1997-b).

O "núcleo" é facilmente percebido através dos ditames dos conselhos profissionais, das disciplinas específicas de cada categoria e que conformam um dado profissional. O "campo" é mais aberto, sendo definido a partir do contexto em que operam certas categorias de profissionais. Um exemplo dado pelo autor é o de um especialista em gineco-obstetrícia que teria como núcleo o conjunto de saberes e práticas relativos à saúde da mulher e como campo, noções de clínica geral, fundamentos da relação profissional-paciente, organização de programas etc. (Campos, 1997-b).

Podemos encontrar outro exemplo no âmbito da reabilitação psicossocial, na qual as tarefas de reinserção social e resgate da autonomia de doentes mentais graves (Pitta, 1996) têm se caracterizado por uma tal complexidade de demandas (trabalho, moradia, reaprendizagens de atividades cotidianas etc.), cujas respostas não podem ser efetivadas a partir de um dado núcleo e nem através da somatória de vários deles. A reabilitação psicossocial tem sido então, para tornar-se efetiva, terreno fértil para o desenvolvimento e acréscimo de ações de "campo" àquelas tradicionalmente exercidas por determinados trabalhadores através de seus "núcleos" (Furtado, 1997) para tornar-se realmente efetiva.

Campos (2000-b) sugeriu a ampliação destes conceitos de "núcleo" e "campo", extrapolando-os da esfera de categorias profissionais (ligados à competência e responsabilidade de determinadas profissões) para o domínio de saberes e práticas. Para o autor a institucionalização dos saberes e sua organização em práticas se daria mediante a conformação de núcleos e de campos. Núcleo como uma aglutinação de conhecimentos em um saber e campo como a conformação de um determinado padrão concreto de compromisso com a produção de valores de uso. O núcleo demarcaria a identidade de uma área de saber e de prática profissional; e o campo, um espaço de limites imprecisos onde cada disciplina ou profissão buscariam em outras, apoio para cumprir suas tarefas teóricas e práticas (grifos nossos).

O autor reconhece a necessidade da definição das identidades sociais para os campos de saber, mas sugere a flexibilização e abertura dos núcleos destes através de sua permeabilidade aos distintos campos de influência e às necessidades com as quais concretamente irão deparar-se no cotidiano (Campos, 2000-b).

Este preâmbulo em torno dos conceitos de "campo" e "núcleo" baseia-se em nossa intenção de construir um processo avaliativo que extrapole a tríade mensuração-descrição-julgamento de um dado serviço ou programa. É nosso intento estabelecer um processo que supere o "núcleo" da avaliação constituído em torno desta tríade, avançando em direção ao que possa vir a constituir-se no "campo" da avaliação (no sentido dado pelo autor que vimos citando).

Neste sentido, entendemos como campo de competência e responsabilidade da avaliação as intervenções que a mesma pode proporcionar para além do fornecimento de dados para o julgamento e tomada de decisões em torno do objeto avaliado. A avaliação, interagindo com outras disciplinas e áreas, passaria a cumprir novos papéis acrescidos aos que vem desempenhando, o que reforçaria sua atribuição essencial de desenvolver a qualidade de nosso ambiente físico e social e a aumentar o bem-estar individual e coletivo (Rossi et al., 1999).

A avaliação tornar-se-ia, então, além do que conhecemos tradicionalmente através de seu núcleo, um dispositivo na acepção de Baremblitt (1992), ou seja, um artifício para produzir inovações, gerando acontecimentos, concretizando virtualidades, possibilitando renovações. Os dispositivos seriam recursos que alteram o funcionamento das organizações, mas que não fazem parte destas, sendo usados para instaurar algum processo novo (Campos, 1999).

O que vimos afirmando equivale a dizer que a avaliação deveria tornar-se efetivamente um dispositivo de mudança, o que significa a incorporação e participação em sua condução dos principais grupos de interesse, de tal forma que as representações e questões destes grupos possam ser realmente consideradas. Tal percurso ampliaria a inclusão dos diferentes pontos de vista e ampliaria as possibilidades de utilização dos resultados pelos envolvidos na reformulação de suas práticas (Feuerstein, 1990; Patton, 1997).

Poderíamos dizer que a avaliação passaria a ser um dentre outros dispositivos possíveis dentro do universo de possibilidades para interferir na renovação de serviços e programas. A avaliação adentraria assim, no campo de competência e responsabilidade para onde convergem diversos outros dispositivos, como o planejamento, a educação continuada etc. (Campos, 2000-a), voltados para a superação de questões intrínsecas aos programas e serviços, ao desenvolvimento e à criação de novas redes de compromisso entre os grupos de interesse ligados aos mesmos, além de promover a capacitação dos envolvidos na condução de suas atribuições.

Segundo este raciocínio, a pesquisa avaliativa manteria seus métodos e objetivos nucleares - analisar e emitir julgamento sobre a pertinência, os fundamentos teóricos, a produtividade, os efeitos e o rendimento de uma intervenção (Contandriopoulos et al. 1997-a) - acrescidos da capacitação e desenvolvimento dos grupos implicados e do serviço ou programa avaliado como contribuição de seu campo de competência e responsabilidade para a renovação do objeto avaliado. Tal acréscimo agregaria à avaliação aspectos teleológicos ligados aos fins ou finalidades do processo.

Diferente do que afirmou Campos (1999), que identifica em outros dispositivos como oficinas de planejamento, treinamento etc. um caráter transitório e ineficaz para garantir alterações da lógica de funcionamento do objeto da intervenção, acreditamos que a instauração de um processo avaliativo que garanta a inclusão de atores externos à equipe e aos gestores do programa ou serviço, através da inclusão de outros grupos de interesse (usuários, familiares, gestores de outros serviços etc.), instituiria uma rede de compromissos e um certo controle sobre a efetivação de alterações definidas durante o processo.

Uma avaliação participativa - a aproximação entre a Avaliação de Quarta Geração e o Método Paidéia

Vimos defendendo ao longo deste texto a idéia de que a avaliação deve caracterizar-se como processo, ser sensível ao meio, compreensiva e includente das diferentes construções dos grupos de interesse em torno do que está sendo avaliado. Consequentemente, cada avaliação deve ser também construída e direcionada para o contexto específico em que será utilizada.

Transcendendo o papel tradicional de estimular os sujeitos para lidar com situações críticas, o avaliador deve também se deixar estimular pelos temas e questões emergentes, oriundos dos grupos de implicados, num processo interativo. Disso decorre que os métodos empregados para a realização de uma avaliação inclusiva poderão sofrer interferências para adaptarem-se ao contexto, o que definirá o próprio percurso da pesquisa.

O avaliador deve manter grande adaptabilidade, flexibilidade e uma posição também compreensiva, além de capacidade para explorar respostas atípicas ou idiossincráticas (Guba & Lincoln, 1987), o que garantirá justamente a superação de algumas limitações impostas por métodos baseados em questionários estruturados, possibilitando a coleta de dados adicionais.

Guba & Lincoln (1989), baseados num referencial construtivista, desenvolveram um método voltado para a inclusão dos grupos de interesse em todo o processo de avaliação e compromissado com a utilização efetiva dos resultados do processo avaliativo. Chamado por eles próprios de Avaliação de Quarta Geração, o percurso preconizado pelos autores pode ser resumido em doze passos organizados em torno do que para eles seriam os objetivos fundamentais da avaliação: evidenciar as diferentes percepções e questões dos grupos de implicados (suas construções), capacitação e desenvolvimento (empowerment) dos envolvidos e criação de espaços de negociação fecunda para a construção comum das mudanças.

Os passos preconizados são: 1) o estabelecimento de um contrato garantindo o engajamento do avaliador e cliente(s); 2) as questões iniciais da avaliação devem ser clareadas; 3) a identificação dos grupos afetados pelo que vai ser avaliado, sendo que o avaliador deve permanecer aberto à inclusão de novos grupos de interesse, independente do momento em que surjam; 4) o avaliador deve elucidar de maneira aberta e inclusiva as reivindicações e problemas dos implicados; 5) o avaliador deve organizar um contexto no qual diferentes construções dos grupos de interesse possam ser exprimidas, compreendidas e questionadas, 6) o avaliador tem a tarefa de buscar consensos no interior dos grupos e 7) entre os grupos; 8) o avaliador deve elaborar uma agenda de negociações de aspectos sobre os quais há dificuldades em estabelecer consenso; 9) o avaliador deve coletar e difundir dados necessários às discussões e ao refinamento das construções dos implicados; 10) o avaliador deve organizar e coordenar um fórum de negociações no qual os aspectos conflituais serão reexaminados à luz das últimas informações; 11) o avaliador deve elaborar relatórios relativos às reivindicações, inquietações e consensos enunciados pelos implicados; 12) finalmente, o avaliador deve reiniciar o processo de avaliação se permanecerem importantes questões não resolvidas (Guba & Lincoln, 1989; Lehoux et al., 1995).

Este processo de construção e reconstrução da realidade organiza-se em torno do que Guba & Lincoln (1989) chamam de "processo hermenêutico dialético". Para eles, é hermenêutico porque tem caráter interpretativo e dialético porque implica comparação e contraste de diferentes pontos de vista, objetivando um alto nível de síntese, no sentido hegeliano. Reproduzimos adiante um modelo esquemático proposto pelos autores para representar os ciclos de discussões entre os grupos de implicados (vide figura 1).

O primeiro grupo a ser interpelado (R1) é escolhido pela posição estratégica que ocupa com relação ao objeto da avaliação e, a partir de seus relatos, são feitas as primeiras construções em torno do tema (C1), que servirão como subsídios para o trabalho com o segundo grupo. A indicação do grupo seguinte a ser interpelado deverá vir do último grupo trabalhado, através da pergunta: que outros grupos pensam diferente de vocês a respeito desta questão? Outros subsídios provenientes da observação, da análise documental, da literatura, entre outros, deverão ser incorporados como contribuições ao processo. Se o avaliador identifica que questões importantes relativas ao objeto da avaliação não foram levantadas, ele tem obrigação de introduzi-las no processo.

Uma vez completado o círculo junto aos grupos de implicados, o mesmo pode ser refeito uma outra vez, o que daria a oportunidade aos primeiros respondentes de considerarem questões surgidas durante o desenvolvimento do processo a partir de colocações de outros grupos ou de contribuições externas como documentos e/ou observações. Devemos considerar, no entanto, que os autores, embora citem, dão pouca ênfase à operacionalização das contribuições externas ao círculo.

Para os dois autores, o segundo círculo hermenêutico se constituiria em uma espiral em relação ao primeiro: ainda que no mesmo lugar, junto ao mesmo grupo, ocuparia um nível acima, configurando a capacitação e desenvolvimento que o processo deve propiciar a seus participantes (Guba & Lincoln, 1989).

Por outro lado, o Método Paidéia ou Método da Roda, elaborado por Campos (2000-a) a partir da leitura crítica de textos no campo da política, do planejamento, da análise institucional e da educação continuada, baseia-se na consideração de que a gestão necessariamente produz efeitos nos âmbitos administrativo e financeiro, político, pedagógico e da subjetividade dos sujeitos envolvidos.

Para o autor, os textos tradicionais de administração de inspiração taylorista privilegiam a racionalização de meios para a consecução de determinados fins, centrando-se na otimização da eficiência. Campos (2000-a) propõe, em contrapartida, a consideração efetiva dos aspectos pedagógicos e de produção de subjetividade presentes em qualquer gestão, de modo a reafirmar o trabalho como um dos modos de produção e constituição de sujeitos, coletivos e instituições.

Disso decorre a utilização pelo autor do conceito de "coletivos organizados para produção" e não de "organização" para caracterizar agrupamentos humanos articulados com alguma finalidade produtiva. A idéia de coletivos organizados para a produção transbordaria a concepção de organização, englobando movimentos de diversas naturezas, escolas, hospitais etc. e a consideração de que dentro de uma mesma organização existem vários coletivos. Segundo o autor, o Método da Roda se propõe a trabalhar objetivando a constituição de coletivos organizados, o que implica construir capacidade de análise e de co-gestão para que os agrupamentos lidem tanto com a produção de bens e serviços, quanto com sua própria constituição (Campos, 2000-a).

Para este método, a gestão como elemento isolado seria uma abstração, uma vez que efetivamente existe algum grau de co-gestão todo o tempo, dada a implicação de muitos e diferentes atores no processo com alguma possibilidade de intervenção, mesmo que com disparidades nas correlações de poder. Assim sendo, o Método Paidéia apresenta-se como uma reação à imposição de constrangimentos econômicos e históricos, concebendo a existência de relações dialéticas entre determinismos de diversas ordens e a capacidade de reação dos sujeitos.

Disso decorre a proposição de que ao antagonismo existente entre os objetivos de produção de valores de uso e de constituição de sujeitos ou coletivos se estabeleça uma síntese calcada na produção simultânea de bens e serviços e criação de espaços para a realização pessoal de sujeitos produtores.

Dessa forma, os interesses próprios aos sujeitos e aqueles intrínsecos à organização deveriam ser igualmente considerados, agregando-os no mesmo nível de considerações relativas à produção de valor de uso. Assim sendo, todo e qualquer instrumento (ou dispositivo) de gestão ampliada, como oficinas de planejamento, supervisão, processos avaliativos etc. deveria, segundo o autor, considerar os dois grandes determinantes da organização e das relações intrínsecas à gestão de coletivos organizados para a produção: um relativo às questões oriundas da produção de bens e serviços e outro constituído da temática ligada à constituição de sujeitos e da própria organização (Campos, 2000-a).

Ou seja, os dispositivos introduzidos para promover revisão, transformação e mudanças em um coletivo organizado para a produção deverão ater-se não só à missão do mesmo, mas também aos modos como esta se organiza em relação às demandas de ordem subjetiva, oriundas dos sujeitos ali inseridos.

Como forma de operacionalizar essas idéias, o autor propõe a introdução de um "apoiador institucional", elemento externo ao grupo que, baseado na escuta e estabelecimento de vínculos adequados com o mesmo, considerando inclusive elementos de ordem transferencial ali envolvidos, conduziria um processo coletivo de revisão, análise e reflexão do modo como os integrantes de um serviço articulam suas idéias, valores e práticas.

Para tanto, o autor sugere a utilização de núcleos temáticos de análise, entendidos como o objeto de reflexão de uma equipe ou coletivo, tais como: seu objeto de trabalho, práticas cotidianas, resultados, objeto de investimento do grupo, entre outros, podendo os mesmos estarem mais ou menos voltados para o campo da produção de valores de uso ou, por outro lado, para o campo da produção de sujeitos e de coletivos (vide figura 2).

Tais núcleos podem ser analisados a partir de um ponto de vista mais pragmático, considerando o modo como um coletivo funciona e se articula (perspectiva sincrônica) ou a partir dos modos de produção de poder, disputas e conflitos que permeiam esse mesmo coletivo (perspectiva diacrônica).

O método preconiza a introdução, pelo apoiador institucional, de temas, métodos de análise e dados externos ao grupo, chamadas de "ofertas", com a função de contribuir na reconstrução da práxis e da subjetividade dos sujeitos, devendo ser consideradas criticamente pelo coletivo. Tais ofertas visam também e no mesmo sentido à revisão e à superação de eventuais posturas cristalizadas, provenientes de pontos cegos, reiterações ou da paralisação frente a temas considerados tabus, devendo ser incorporadas de modo crítico pelos integrantes do programa ou coletivo organizado para a produção.

A utilização de ofertas é pertinente se considerarmos que, como afirmou Chen (1990), os grupos de interesse desejam mais do que simplesmente incorporar seus próprios pontos de vista: eles desejam também que o processo avaliativo ofereça novas informações e esclarecimentos (insights) para a condução do programa ou serviço.

Conceber um avaliador potencialmente capaz de efetuar contribuições efetivas no transcurso da avaliação significa assumi-lo como inserido no processo, uma vez que no contexto seria impossível conceber uma asséptica separação entre sujeito e objeto de estudo. Tais intervenções potencialmente catalisariam a superação de posturas eventualmente estereotipadas e burocráticas por parte dos implicados, embora as contribuições do avaliador não devam ser nunca colocadas como transcendentes e não relativizáveis (Guba & Lincoln, 1989; Campos, 2000-a).

O alinhamento entre a Avaliação de Quarta Geração (Guba & Lincoln, 1989) e o Método da Roda ou Paidéia (Campos, 2000-a) baseia-se no referencial participativo e construtivista explicitamente (mas não exclusivamente) assumido por seus autores e na virtual complementaridade entre os mesmos, sendo o estabelecimento de diálogos potencialmente promissor para a superação de algumas questões oriundas da instauração de um processo participativo em avaliação.

Em decorrência dos referenciais utilizados pelos dois métodos, há convergências entre ambos em relação à relevância atribuída à inclusão e participação dos atores sociais (grupos de implicados ou coletivos organizados) na consideração da dinâmica de um organismo social com vistas à sua reformulação, como pode ser o caso dos processos avaliativos ou de planejamento.

A reinterpretação de determinado texto⁴ organizacional (Campos, 2000-a) ou a consideração de questões, interesses e reivindicações em torno de um serviço ou programa (Guba & Lincoln, 1989) - ambos voltados para a elaboração de novos sentidos e significados que orientem o agir concreto - deverão também privilegiar a capacitação e desenvolvimento de todos os envolvidos no processo, segundo a visão dos dois métodos discutidos (Guba & Lincoln, 1989; Campos, 2000-a).

Daí a importância dos círculos hermenêuticos no método proposto por Guba & Lincoln (1989) ou da Roda, proposto por Campos (2000-a), no sentido de oferecer espaços grupais de discussão nos quais os grupos de interesse poderão analisar e refletir sobre diferentes aspectos do serviço ou programa avaliado a partir de seus pontos de vista. Tal dinâmica preconiza que a cada reunião haja coleta de novas informações, análise e definição de ações práticas, o que permite superar a linearidade imposta por certas intervenções (vide figura 1), como o planejamento tradicional no qual se deve primeiro elaborar diagnósticos exaustivos (supostamente acabados), para depois compor um plano total e, somente depois, desencadear operações (Campos, 2000-a).

Para os autores da quarta geração de avaliação, a tônica do processo é a negociação efetuada entre os grupos de interesse em torno das questões levantadas no círculo hermenêutico. Eventuais divergências devem ser discutidas e negociadas entre os grupos de tal forma a se criar uma "terceira via" ou nova síntese. Negociação aqui compreendida como troca simbólica e relacional entre os grupos de interesse com o intento de chegar a uma solução comum, seja nos aspectos administrativos, contratuais, político e teórico-metodológicos, entre outros (Bezzi, 1999).

O Método da Roda traz como contribuição à avaliação participativa a introdução sistemática de um relativo grau de externalidade oriundo da "oferta" de temas, documentos e interpretações organizadas, provenientes de um elemento não pertencente ao grupo, como o apoiador institucional ou um eventual condutor de um processo avaliativo. Ao considerar esta possibilidade, o referido método permite a superação dos riscos de reiterações, auto-referências e pontos cegos presente no círculo hermenêutico proposto por Guba & Lincoln (1989).

Outro acréscimo relevante - e talvez o mais significativo - ao processo participativo em avaliação, advindo do método proposto por Campos (2000-a), é a consideração de aspectos ligados à subjetividade dos componentes do coletivo envolvidos no processo, sobretudo se considerarmos que tais aspectos podem ser relevados por eventuais usuários da avaliação quando do delineamento e definição das questões da pesquisa.

Os autores da quarta geração de avaliação (Guba & Lincoln, 1989) e do Método Paidéia (Campos, 2000-a) parecem estar de acordo com o fato de que a dificuldade dos grupos em analisar e reconstruir posturas em relação à realidade não se origina da ausência de dados e informações, mas em entraves políticos, organizacionais e subjetivos à troca e restabelecimento de novos modos de organização. Para Campos (2000-a), o acúmulo de informações não implica necessariamente a reconstrução de novos sentidos e significados para as relações sociais.

Por isso, ao centrar o processo avaliativo nos grupos de interesse, operacionalizado através dos círculos hermenêuticos da Avaliação de Quarta Geração (Guba &Lincoln, 1989) ou do Método da Roda - grupos de pessoas em círculo debatendo determinada questão (Campos, 2000-a), devemos estar atentos em avançar para além do simples acúmulo de dados. Faz-se necessária a construção de novos sentidos e significados, seja a partir da introdução de questões levantadas em outros grupos ou como contribuição ou oferta do avaliador (Campos, 2000-a).

A partir dessas premissas e da especial consideração aos aspectos pedagógicos e subjetivos envolvidos na gestão, o autor propõe a consideração de outras dimensões dos sujeitos - da ordem da subjetividade - no estabelecimento de contratos e compromissos. Tal abordagem viabilizaria uma negociação entre manifestações concretas desses desejos e interesses (Campos, 2000-a). Identificamos aí uma via para o trânsito de dimensões intrínsecas à dinâmica dos grupos a ser acrescida à consideração de reivindicações, interesses e questões dos mesmos propostos por Guba & Lincoln (1989).

Neste percurso, uma postura ética deverá garantir igual tratamento para as questões e reivindicações levantadas por diferentes grupos durante as negociações. Tal posição aponta para a superação da supremacia de um grupo sobre outro (por exemplo, maior peso dado às questões dos gestores que às dos usuários) e, sobretudo, pode instaurar um novo patamar, diferente daquele tradicional, no qual alguns grupos de interesse são com freqüência convidados a opinar - a fim de legitimar decisões já tomadas - e raras vezes suas questões são realmente consideradas (Guba & Lincoln, 1989, Campos, 2000-a).

Em nosso país, cuja tradição de participação está ainda por se constituir, sendo ainda detentor de um contexto organizacional verticalizado no interior dos serviços de saúde (Campos, 1997-b), seria atribuição do avaliador que se dispõe a conduzir avaliações inclusivas e baseadas em agendas de negociações salientar junto aos grupos de interesse a importância do papel que possuem - mesmo que latente - para o serviço ou programa em avaliação e a legitimidade e pertinência da inclusão de suas questões, reivindicações e interesses no processo avaliativo.

Ao comentar sobre a regulação de um sistema de saúde "sem-muros", descentralizado, desregulamentado, que possibilite novas solidariedades, Contandriopoulos (1998) identifica muito mais possibilidades de avanços se houver preponderância da lógica de regulação do estado democrático sobre as outras três lógicas possíveis de regulação (de profissionais, tecnocrática ou econômica).

Essa preocupação com a lógica da regulação democrática, realizada através da inclusão e participação, acrescida de objetivos ligados à capacitação e desenvolvimento de coletivos implicados em programas ou serviços, são características essenciais e convergentes aos dois métodos que vimos discutindo.

Um esboço de aplicação prática

A seguir apresentaremos uma proposição de um percurso avaliativo pluralista e participativo que julgamos pertinente para a prática da avaliação voltada para o desenvolvimento e capacitação dos grupos implicados e a compreensão em profundidade de um programa ou serviço. O caminho apresentado tem forte inspiração no método proposto pelos autores da Avaliação de Quarta Geração e também se apóia nas reflexões desenvolvidas pelo autor do Método Paidéia, porém outros autores somados à nossa reflexão advinda do contato com a prática subsidiam a adaptação das propostas e a inserção de novas abordagens.

Originário de nossos estudos e reflexões na busca do caminho mais adequado para a efetivação de nosso intento - avaliar um serviço de atendimento domiciliar - que considere, com vistas à superação, os problemas colocados ao processo avaliativo pela desinstitucionalização, conforme apontada por Mercier (1990) e as limitações do modelo da caixa-preta (Denis & Champagne, 1997) discutidas no início do texto, o desenho apresentado configura-se não como um roteiro esquemático, em senso estrito, mas como apresentação e discussão de eixos organizadores para a condução de uma avaliação de caráter participativo junto a um programa ou serviço.

Inicialmente consideramos que alguns parâmetros devam ser estabelecidos no percurso da avaliação, de modo a balizar as construções da realidade efetivada por cada grupo. O principal deles seria o modelo lógico ou modelo teórico que orienta explícita ou tacitamente o programa ou serviço avaliado.

Para Rossi et al. (1999), o modelo teórico seria uma descrição das principais hipóteses e suposições sobre as quais um programa ou serviço se baseia para obter os resultados esperados, ou seja, sua concepção teórica e desenho metodológico. Segundo Hartz (1999), o modelo teórico seria uma representação do como e do porquê dos programas atuarem nos grupos populacionais. Para esta autora, a construção do modelo teórico descreveria o problema, população-alvo e contexto visados pela intervenção e os mecanismos através dos quais se produziriam os efeitos esperados.

Ao iniciarmos um processo avaliativo, devemos buscar, desde o início, estabelecer o modelo teórico subjacente à prática desse serviço. Tal iniciativa pode determinar se o serviço ou programa é avaliável (sua avaliabilidade), ou seja, a existência de organização e consenso mínimo entre os envolvidos sobre seus objetivos e resultados pretendidos, já que a inexistência desses parâmetros básicos tornaria impossível a execução da avaliação (Wholey, 1982). A definição do modelo teórico aumenta a compreensão sobre como se supõe operar o serviço - ponto de partida fundamental para a efetivação do processo avaliativo.

Raros são os serviços ou programas que possuem documentos explicitando o modelo segundo o qual desenvolvem sua prática (Rossi et al., 1999), o que implica que o mesmo deverá ser construído ou especificado. Para tanto, o avaliador deve se basear em dados colhidos junto aos implicados no programa ou serviço, através de entrevistas com informantes-chave e de grupos focais, da observação e de análises documentais, entre outros.

Essa conjugação da abordagem baseada na consulta aos grupos de implicados com aquela baseada nos métodos das ciências sociais para a construção ou explicitação do modelo teórico subjacente seria a mais adequada por possibilitar a utilização de diferentes fontes. O avaliador deve utilizar seus conhecimentos para compor o quadro teórico geral baseando-se nas informações oriundas das fontes citadas e de outras que venha a identificar. Ao final, o avaliador deverá apresentar e negociar o modelo teórico proposto junto aos grupos de implicados, validando-o (Chen, 1990).

Considerando que os grupos envolvidos possuem distintas formações, é fundamental que o avaliador exerça sempre uma postura pedagógica de modo a tornar o processamento das informações e eventuais debates acessíveis a todos os participantes do processo. Por isso, o modelo teórico proposto pelos grupos de implicados deve ser apresentado utilizando-se recursos visuais, sob a forma de diagramas que sumarizem e integrem o conhecimento e evidencie ligações entre estruturas e processos, gerando hipóteses (Earp & Ennet, 1991).

Uma vez definido o modelo teórico sob o qual opera o serviço, parte-se então para a realização de discussões junto aos grupos de implicados através dos princípios de horizontalidade entre os participantes presentes no Círculo Hermenêutico (Guba & Lincoln, 1989) ou no Método da Roda (Campos, 2000-a). Nesta fase, deverão ser levantadas as questões, reivindicações e interesses dos grupos implicados. A utilização das técnicas de grupos focais (Westphal et al., 1996; Morgan, 1997) nos parece adequada para a condução dos referidos grupos de discussão.

O avaliador desempenhará importante papel na condução das negociações entre os diferentes grupos de implicados. Os interesses, questões e reivindicações de um determinado grupo (de usuários, familiares, trabalhadores, financiadores etc.) deverão fomentar a discussão seguinte a ser desenvolvida junto a outros grupos. Além das discussões dos grupos precedentes, os achados provenientes de análises documentais e da observação, também deverão alimentar as discussões subseqüentes dos novos grupos. Um determinado grupo de implicados poderá também apontar outros grupos que deveriam participar do processo, sobretudo aqueles que tenham opinião diversa do precedente (Guba & Lincoln, 1989).

Os achados da literatura científica devem alimentar as discussões desenvolvidas no processo de modo a expandir a interlocução e o referencial utilizado pelos participantes, porém, coerentemente com a opção metodológica, tais documentos não devem adquirir caráter transcendente, mas, ao contrário, devem ter ressaltado seu caráter social e historicamente construído (Guba & Lincoln, 1989). As questões a serem consideradas no processo avaliativo deverão ser definidas pelos grupos de interesse, a partir de seus pontos de vista. Questões originárias do avaliador ou informações provenientes da literatura científica também devem ser consideradas e discutidas junto aos grupos envolvidos, de modo a oferecer eventuais contrapontos aos mesmos, fomentando a reflexão (Campos, 2000-a).

Outro importante papel do condutor da avaliação é o de mediador e negociador dos eventuais desacordos existentes entre os grupos sobre determinados aspectos do objeto avaliado, do qual deverão ser construídas novas sínteses a partir das antíteses (Guba & Lincoln, 1989). Para Campos (2000-a), no entanto, o dissenso é um importante substrato para a investigação das diferenças e base para a constituição de um novo modelo.

Poderá surgir também a necessidade de mais informações e mesmo a criação e análise de indicadores, que deverão ser efetivados tanto no processo de elaboração quanto na coleta e análise dos dados pelos grupos especialmente envolvidos na condução do processo avaliativo (Feuerstein, 1990), contando com a ajuda do avaliador.

Tal processo não pretende esgotar ou resolver todas as questões. Poderão ocorrer impasses que deverão ser rediscutidos até serem superados e outros cuja superação fugirá aos propósitos do processo avaliativo, o que equivale a dizer que o processo não "acaba", mas é "interrompido" a partir dos constrangimentos de diversas ordens (urgências de soluções, financiamento, cronograma etc.).

Coerente com o referencial utilizado em todo o processo, o relatório final da avaliação deverá conter não somente dados, mas também espelhar os sentidos e interpretações agregados em torno destes pelos grupos de interesse. O relatório final deve extrapolar a descrição e análise do objeto avaliado e seu contexto, proporcionando ao leitor capacidade para perceber igualmente como os grupos de interesse estabelecem os sentidos dos "fatos" e por que o fazem. Tal relatório deve compor-se em linguagem acessível aos diferentes grupos, além de estimular a utilização prática por parte dos mesmos com base no fornecimento de subsídios que aumentem a compreensão do serviço ou programa avaliado e instrumentalize os grupos de interesse para a efetivação de transformações e mudanças consideradas necessárias (Guba & Lincoln, 1989; Campos, 2000-a).

V - Conclusão ou por que a participação é necessária à avaliação

Existem múltiplas abordagens possíveis para a realização da avaliação (Patton, 1982; Silva & Formigli, 1994) e as características do objeto e as especificidades e necessidades da clientela devem determinar o caminho a ser utilizado (Bezzi, 1999). Dentre as várias abordagens possíveis, por tudo que vimos discutindo, aquelas voltadas para o aumento do valor de uso da avaliação (Campos, 2000-a; Mercier, 1995, Patton, 1997) nos parece mais adequada para a capacitação e desenvolvimento dos grupos implicados e a garantia da utilização dos resultados do processo avaliativo.

Afinal, toda ação social se desenvolve em um contexto de complexidade crescente, envolvendo vários atores sociais, portadores de papéis, interesses, lógicas e linguagens diversos e não raramente contraditórios. A ação avaliativa é uma ação social específica, desenvolvida em ambientes complexos - programas ou serviços - nos quais não é possível atribuir significado específico a um elemento sem considerar a lógica e a interferência de outros (Denis & Champagne, 1997), sobretudo no contexto da desinstitucionalização de programas e serviços (Mercier, 1990).

No entanto, a despeito de toda a complexidade de atores e posições envolvidos, a avaliação é, na maioria das vezes, voltada para os gestores e/ou financiadores em detrimento do público-alvo, dos profissionais do programa ou serviço e dos parceiros institucionais e comunitários. A partir dessa constatação Mercier (1995) estabelece algumas proposições, dentre as quais: 1) a escolha das questões da avaliação determina o grupo de interesse privilegiado pela mesma; 2) os métodos epidemiológicos e quase-experimentais são pouco úteis para a intervenção direta; 3) existem em avaliação abordagens mais aptas que outras para favorecer a articulação entre intervenção e pesquisa; 4) a utilização de dados da avaliação visando ao planejamento de intervenções pode acarretar efeitos perversos aos usuários.

O contexto atual tendente à massificação da pesquisa em avaliação visando à eficiência dos programas merece reservas por parte dos avaliadores (Hartz, 1999). Criar alternativas à hegemonia do aspecto financeiro na análise de intervenções bem como minimizar eventuais efeitos perversos aos grupos implicados nas mesmas parece ser alguns dos benefícios da instauração de processos avaliativos participativos.

O caráter político das práticas avaliativas é inegável e o afloramento de jogos de poder onde estas se realizam é freqüente, o que requer do avaliador atenção constante de modo a evitar cumplicidades de diversas ordens ou que se venha a sucumbir a pressões políticas e administrativas. O trabalho do avaliador dentro do SUS não deve se limitar à execução de tarefas definidas por grupos particulares, em um sistema que se pretende universal, mas nuançar ao máximo possível a diversidade que envolve o programa ou serviço avaliado.

O controle do processo avaliativo por parte dos grupos de interesse em uma dada intervenção, a consideração da complexidade e diversidade do contexto, os dados e construções daí originados, a preocupação com a utilização das informações e do próprio processo avaliativo como dispositivos para o desenvolvimento dos programas e serviços deveriam se tornar diretrizes destinadas a contribuir para a ampliação do papel até agora restrito que o campo da avaliação tem desempenhado dentro do SUS e para a capacitação e desenvolvimento de todos os grupos implicados com o sistema público de saúde brasileiro.

• Aguilar MJ & Ander-Egg E 1995. Avaliação de serviços e programas sociais Ed. Vozes. Petrópolis, 312 pp.
• Alves R 1987. Filosofia da ciência: introdução ao jogo e suas regras. Editora Brasiliense, São Paulo, 207 pp.
• Amarante PDC 1996. O homem e a serpente. Editora Fiocruz, Rio de Janeiro, 141 pp.
• Bandeira M 1998. Desinstitucionalização: o programa de acompanhamento intensivo na comunidade. Jornal Brasileiro de Psiquiatria 47(12): 627-640.
• Baremblitt G 1992. Compêndio de Análise Institucional e Outras Correntes: Teoria e Prática Rosa dos Ventos, Rio de Janeiro, 171 pp.
• Bezzi C 1999. Aspetti metodologici del coinvolgimento degli attori sociali cosidetta valuatazione partecipativa. Rassegna Italiana di Valutazione 13(1) 3-10.
• Bittar OJNV 1997. Hospital: qualidade e produtividade. Editora Sarvier, São Paulo, 137 pp.
• Campos GWS 1997-a. Reforma da reforma: repensando a saúde Editora Hucitec, São Paulo, 220 pp.
• Campos GWS 1997-b. Subjetividade e administração de pessoal: considerações sobre modos de gerenciar o trabalho em equipes e saúde, pp. 229-266. In Merhy EE & Onocko R (orgs.). Agir em saúde Editora Hucitec, São Paulo.
• Campos GWS 1999. Equipes de referência e apoio especializado matricial: um ensaio sobre a reorganização do trabalho em saúde. Ciência e Saúde Coletiva 4(2): 393-403.
• Campos GWS 2000-a. Um método para a análise e co-gestão de coletivos: a constituição do sujeito, a produção de valor de uso e a democracia em instituições: O Método da Roda Editora Hucitec, São Paulo, 225 pp.
• Campos GWS 2000-b. Saúde pública e saúde coletiva: campo e núcleo de saberes e práticas. Ciência e Saúde Coletiva 5(2):219-230.
• Chalmers AF 1993. O que é ciência afinal? Editora Brasiliense, São Paulo, 226 pp.
• Chen HT 1990. Issues in Constructing Program Theory. New Directions for Program Evaluation, Jossey-Bass, Fall, 47: 7-18
• Cohen E & Franco R 1998. Avaliação de projetos sociais Editora Vozes, Petrópolis, 312 pp.
• Colvez A & Ridez S 1996. Déterminants objectifs et subjectifs du bénéfice de l'aide ménagère pour lê maintien à domicile dês personnes âgées. Revue Epidémiologie et Santé Publique 44, 163-172.
• Contandriopoulos AP 1998. La régulation d'un système de soins sans murs Groupe de Recherche Interdisciplinaire en Santé, Montreal, 24 pp.
• Contandriopoulos AP, Champagne F, Potvin L, Denis JL, Boyle P 1997-a. Saber preparar uma pesquisa Hucitec, São Paulo, 215pp.
• Contandriopoulos AP, Champagne F, Denis JL & Pineault R 1997-b. A avaliação na área da saúde: conceitos e métodos, pp. 29-47. In ZMA Hartz (org.). Avaliação em saúde: dos modelos conceituais à prática da implantação de programas Editora Fiocruz, Rio de Janeiro.
• Cook TD & Reichardt CHS 1997. Métodos cualitativos y cuantitativos en investigación evaluativa Editora Morata, Madri, 228 pp.
• Denis JL & Champagne F 1997. Análise de implantação, pp. 49-88. In ZMA Hartz (org.). Avaliação em saúde: dos modelos conceituais à prática da implantação de programas Editora Fiocruz, Rio de Janeiro.
• Denis JL, Béland F & Champagne F 1996. Le chercheur et ses interlocuteurs: complicité et intéressement dans le domaine de la recherche évaluative, pp. 22. 63. Congrès de l'ACFAS. Québec.
• Desrosiers H et al 1998. Cadre pratique pour l'évaluation des programmes Gouvernement do Québec, Ministère de la Santé et des Services Sociaux. Montreal, 131 pp.
• Earp JA & Ennet ST 1991. Conceptual models for health educational and practice. Health Education Research 6(2):163-171
• Feuerstein MT 1990. Avaliação: como avaliar programas de desenvolvimento com a participação da comunidade Editora Paulinas, São Paulo, 184 pp.
• Furtado JP 1997. Responsabilização e vínculo no tratamento de pacientes cronificados Departamento de Medicina Preventiva e Social, Faculdade de Ciências Médicas, Universidade Estadual de Campinas (mimeo).
• Guba EG & Lincoln YS 1987. Effective evaluation Jossey-Bass Publishers, São Francisco, 423 pp.
• Guba EG & Lincoln YS 1989. Fourth Generation Evaluation. Sage Publications, Newbury Park, 294 pp.
• Hartz Z 1999. Avaliação dos programas de saúde: perspectivas teórico metodológicas e políticas institucionais. Ciência e Saúde Coletiva 4(2): 341-353.
• Kuhn TS 1987. A estrutura das revoluções científicas Editora Perspectiva, São Paulo, 257 pp.
• Lehoux P, Levy R & Rodriges J 1995. Conjuguer la modélisation systémique et l'évaluation de quatrième génération. Ruptures 2(1): 56-72
• Maciel MGS, Fernandes AJ, Martins MC & Santos MEF 1999. Assistência domiciliar no Hospital do Servidor Público Estadual: histórias e estórias - Que lições tirar? Hospital do Servidor Público Estadual de São Paulo (mimeo).
• Mercier C 1990. L'évaluation des programmes d'intervention en milieu naturel. La Revue Canadienne d'Évaluation de Programme 5(1):1-16
• Mercier C 1993. Approches qualitatives et quantitative en évaluation de programmes. Sociologie et Societés vol. XXV, n. 2.
• Mercier C 1995. La contribution de l'évaluation au renouvellement des pratiques d'intervention en santé mentale et en toxicomanie, p. 87. Actes du Colloque du Conseil Québécois de la Recherche Sociale Chicoutimi, Quebec.
• Mercier C 1997. Participation in stakeholder-based evaluation: a case study. Evaluation and Planning 20 (4):467-475.
• Minayo C 1996. O desafio do conhecimento. Editora Hucitec, São Paulo, 269 pp.
• Morgan DL 1997. Focus groups as qualitative research Sage Publications, Thousand Oaks, 80 pp.
• Morin E 1995. Os meus demônios Publicações Europa-América, Lisboa, 233 pp.
• OMS 1981 L'évaluation des programmes de santé: principes directeurs pour son application dans le processus gestionnaire pour le dévelopement sanitaire national
• Patton MQ 1997. Utilization-focused evaluation. Sage Publications, Beverly Hills, 640 pp.
• Patton MQ 1982. Practical evaluation. Sage Publications, Beverly Hills, 327 pp.
• Pitta MF 1996. Reabilitação psicossocial no Brasil Editora Hucitec, São Paulo, 132 pp.
• Ribeiro HP 1993. O hospital: história e crise. Cortez Editora, São Paulo, 135 pp.
• Rizzotto MLF 2000. As orientações do Banco Mundial e as políticas de saúde no Brasil nos anos 90: sinais de convergência. Tese de doutorado. Faculdade de Ciências Médicas, Universidade Estadual de Campinas, 133 pp.
• Rossi PH, Freeman HE & Lipsey MW 1999. Evaluation: a systematic approach Sage Publications, Thousand Oaks, 500 pp.
• Rotelli F & Leonardis O 1990. Desinstitucionalização Editora Hucitec, São Paulo, 180 pp.
• Schraiber LB et al. 1999. Planejamento, gestão e avaliação em saúde: identificando problemas. Ciência e Saúde Coletiva 4(2):221-242.
• Schraiber LB & Nemes MIB 1996. Processo de trabalho e avaliação de serviços em saúde. Cadernos Fundap 19:106-121
• Silva LMV & Formigli VL 1994. Avaliação em saúde: limites e perspectivas. Cadernos de Saúde Pública 10(1): 80-91
• Weiss C 1983. Toward the future of stakeholder approaches in evaluation. New Directions for Program Evaluation 17: 83-96.
• Westphal MF, Bógus CM & Faria MM 1996. Grupos focais: experiências precursoras em programas educativos em saúde no Brasil. Boletim da Oficina Sanitária do Panamá 120 (6): 472-482
• Wholey JS 1982. L'appréciation de l'évaluation d'un programme, pp. 47-63. In R Leconte & L Rutinan (orgs.). Introduction aux méthodes de recherche évaluatives Ed. Université de Carleton, Otawa.

¹

Cf. documento da Secretaria de Higiene e Saúde, do município de Santos (SP); Boletim do Núcleo de Saúde da Puccamp, Campinas (SP); Boletim da Coordenação do Programa de Atendimento Domiciliar, da Secretaria de Saúde e Promoção Social de Hortolândia (SP).

²

Ver Bandeira (1998); Rotelli & Leonardis (1990); Amarante (1996).

³

Utilizaremos aqui "programas e serviços" para expressar a idéia implícita na literatura de origem norte-americana quando se referem a

program evaluation, conforme proposto por Novaes (2000).

⁴

Campos (2000-a) atribui a "texto", no Método Paidéia, o sentido que lhe foi dado pela hermenêutica: conjunto de signos articulado por um determinado sujeito individual ou coletivo, a partir do qual um indivíduo ou grupo interpreta seus saberes e práticas.

Datas de Publicação

• Publicação nesta coleção
  17 Jul 2007
• Data do Fascículo
  2001