Avaliação de projetos sociais em ONGs da Grande Florianópolis: um estudo sobre modelos relacionados ao foco de atuação

An evaluation of social projects in Greater Florianópolis NGOs: a study on models that relate to the work focus

ARTIGOS

Avaliação de projetos sociais em ONGs da Grande Florianópolis: um estudo sobre modelos relacionados ao foco de atuação

An evaluation of social projects in Greater Florianópolis NGOs: a study on models that relate to the work focus

Jairo José Assumpção^I; Lucila Maria de Souza Campos^II

^IMestre em administração pela Univerisdade do Vale do Itajaí (Univali). Graduado em administração com especialização em gestão empresarial pela Faculdade Estácio de Sá e coordenador e professor do Curso de Administração da Faculdade do Litoral Catarinense (FLC), Sociedade Educacional de Santa Catarina (Sociesc). Endereço: Universidade do Vale do Itajaí (Univali). Programa de Pós-Graduação em Administração (PPGA). Rua Fulvio Vieira da Rosa, 42 - Barreiros - CEP 88117-750, São José, SC, Brasil. E-mail: [e-mail]

^IIDoutora e mestre em engenharia de produção pela Universidade Federal de Santa Catarina (UFSC). Graduada em engenharia de produção pela Universidade Federal de São Carlos (UFSCar). Professora adjunta do Departamento de Engenharia de Produção e Sistemas (EPS) e do Programa de Pós-Graduação em Engenharia de Produção (PPGEP) da UFSC. Endereço: Universidade Federal de Santa Catarina (UFSC). Programa de Pós-Graduação em Engenharia de Produção (PPGEP). Campus Universitário Trindade - CEP 88040-900, Florianópolis, SC, Brasil. E-mail: [e-mail]

RESUMO

Este artigo tem como objetivo compreender como os modelos de avaliação de projetos sociais em cinco ONGs da Grande Florianópolis são influenciados em decorrência de sua matriz ideológica e natureza do foco de sua atuação. Com experiência e aplicabilidade no campo educacional, tais modelos estão sendo adaptados e utilizados em avaliações de projetos sociais. Assim, para se atingir este objetivo, buscou-se inicialmente identificar o campo reconhecido como terceiro setor e sua realidade formal, para depois apresentar os conceitos de ONGs e a evolução das avaliações em projetos sociais. Os diversos modelos de avaliações foram agrupados em abordagens similares em decorrência de sua atribuição de valor, fontes filosóficas e ideológicas, bem como predileções metodológicas. A presente pesquisa caracteriza-se como qualitativa, utilizando como estratégia de campo o estudo de caso, do tipo interpretativo que utilizou categorias conceituais, do tipo fechadas, e a análise de conteúdo como técnica de análise dos dados. Os resultados apontam para a constatação de que os modelos avaliativos são influenciados pela natureza de atuação das ONGs estudadas, por crenças filosóficas e ideológicas e predileções metodológicas.

Palavras -chave: avaliação; modelos de avaliações; terceiro setor.

ABSTRACT

The objective of this article is to understand how ideology influences models of evaluation used in social projects carried out by five NGOs in the city of Greater Florianópolis. With application in the field of education, these models are being adapted and used in evaluations for social projects. In order to understand how ideological assumption influence NGO evaluation, we initially sought to identify the area known as the third sector in order to later present the concepts by which NGOs evaluate social projects. The different models of evaluation were grouped according to the similarity of their values, their philosophical and ideological sources, and also their methodological approaches. The present study is qualitative in character, using case studies, interpretive strategies that use conceptual categories of the closed kind, and with a technique of data analysis that involves content analysis. Our results show that the evaluative models used by the NGOs we studied are influenced by their philosophical beliefs, ideologies, and methodological approaches.

Key words: evaluation; models of evaluation; third sector.

1. Introdução

Existe uma tendência de crescimento da atuação das ONGs no cenário brasileiro, e isso se reflete diretamente na temática de estabelecer a amplitude de ação de tais entidades, bem como estabelecer critérios de avaliação da ação e do investimento social realizado. Esse crescimento ocasionou uma amplitude de atuação no tempo e no espaço, imprecisão do termo e contradições entre as diversas maneiras de atuar, causando diversas polêmicas em função do enquadramento de ações e confusões sobre a natureza dessas ações (Alves, 2002; Vergara e Ferreira, 2005). Por outro lado, tais ações, que são reconhecidas como extensões dos objetivos do Estado, teoricamente, nesse contexto de ONGs, podem ser realizadas de forma mais dinâmica, eficiente e flexível, pois a princípio não estão atreladas a um aparato burocrático estático, ineficiente e inflexível (Alves, 2002; Montaño, 2007).

Assim, emergem questões como: qual a diferença entre ONGs, institutos e fundações? Existem diferenças no ordenamento jurídico dessas organizações? Existem diferenças entre ações assistencialistas, beneficentes, filantrópicas ou voluntárias? Seus fins estão atrelados a ideologias (em Marx¹ ) ou o foco são os excluídos e necessitados? A natureza de suas ações é de caráter social e, com isso, pública, ou tem características associativistas e cooperativistas? Como avaliar as intervenções sociais realizadas? Entre essas e outras questões que aparecem evidencia-se a dificuldade de sistematização e classificação do tipo de avaliação utilizada intrigando diversos cientistas e abrindo uma gama de discussão, com o objetivo de se tentar estabelecer similaridades entre a organização, a ação, a natureza dessa ação e os fins a que se propõe. Como se não bastasse, abre-se ainda outra dificuldade além daquela objeto da ação: a própria complexidade do processo de avaliar a amplitude da ação. Tal dificuldade, porém, é ampliada ao se tentar estabelecer critérios para avaliar e monitorar o processo e o resultado de tais intervenções.

Nesse contexto, a gestão das organizações do terceiro setor (neste caso, mais especificamente, as ONGs), emerge como tema de alta relevância, no sentido de se compreender como os processos de gestão influenciam sua maneira de ser, atuar e modificar a realidade social da comunidade em que estão inseridas. Da mesma forma, compreender como as mesmas processam suas atividades de monitoramento e avaliação, considerando critérios de retorno social e de racionalidade operacional, constitui-se tema incipiente nas agendas de estudos acadêmicos. Em função do exposto, surge a seguinte questão de pesquisa: como os modelos avaliativos, em cinco ONGs da Grande Florianópolis, são influenciados pela matriz ideológica e natureza do foco de sua atuação?

Para responder à pergunta e consequentemente se atingir o objetivo geral da pesquisa, foi necessário identificar como referências teóricas disponíveis a evolução do terceiro setor, o que se conhece por ONGs, bem como os modelos de avaliação sob a ótica da lógica instrumental e substantiva. Nesse contexto, o tema pode ser estudado sobre três eixos de análise: o primeiro, relativo ao surgimento do terceiro setor como contraponto ao modelo político de Estado reinante e sua consequente terceirização das questões sociais, atrelada à condição de financiamentos por meio das parcerias, reforçando a necessidade de sistemáticas avaliações. O segundo, ligado às questões ideológicas² como elementos motivadores ou restringentes de suas ações e assim facilitando ou dificultando os processos de avaliação. Finalmente, em relação à legitimidade das atividades e, com isso, atrelado aos processos de gestão (considerando-se os mecanismos de avaliação e monitoramento) para garantir a efetividade de suas ações e com isso influenciando o modelo de avaliação adotado.

Nos três eixos citados, a relevância da atividade de avaliação se estabelece em função da necessidade de se conhecer o contraponto entre a preservação de valores como autonomia, cooperação e solidariedade e a busca por padrões cada vez mais exigidos de eficiência, eficácia e efetividade.

Portanto, o presente artigo apresenta, além desta introdução, um segundo tópico que traz uma discussão a respeito do campo terceiro setor e as organizações não governamentais (ONGs), apresentando uma tipologia em que organiza os tipos de ONGs em cinco conjuntos que se diferenciam em função do seu discurso, natureza e características de atuação. O terceiro tópico apresenta o tema avaliação, bem como as bases ideológicas, predileções metodológicas e atribuição de valor que norteiam os processos de avaliações em projetos sociais. O quarto tópico identifica os principais modelos referenciados na literatura, os quais são agrupados em seis abordagens que norteiam tais modelos em função de suas bases ideológicas, predileções metodológicas e atribuição de valor. O quinto tópico expõe a análise e discussão dos dados para, no sexto, apresentarem-se as conclusões do artigo.

2. O campo terceiro setor e as organizações não governamentais (ONGs)

Um conceito de entidades do setor não lucrativo é aquele que se origina a partir de um modelo de sociedade que se reconhece como veículo de protestos contra as elites dominantes que atuavam tanto na esfera política como na econômica. Esses movimentos sociais, entre as décadas de 1970 e 1980, se caracterizaram por uma atuação dirigida contra o Estado, principalmente em contextos ditatoriais como no Brasil daquela época. A partir desses movimentos é que nasceu o que conhecemos hoje por organizações não governamentais (ONGs). Sob essa ótica, o setor sem fins lucrativos se formaliza por meio de um conjunto de organizações destinadas a emponderar as pessoas perseguidas, excluídas e desfavorecidas e, por conseguinte, alterar o equilíbrio de poder social dominante (Anheier e Sibel, 2001; Salamon, 2006).

Essas entidades não governamentais surgidas com o objetivo de organizar, participar e articular ações de reivindicações e lutas sociais se descaracterizaram, a partir do final da década de 1980, em função do movimento democrático que se instalou, mais especificamente no Brasil. Assim, hoje são reconhecidas como "organizações da sociedade civil que assumem funções de respostas às demandas sociais a partir de valores como solidariedade local, autoajuda e ajuda mútua" (Montaño, 2007:184). Em função dessa mudança, tais organizações passaram a agir com mais autonomia e hoje atuam menos politizadas e mais empresariais, buscando defender suas próprias pautas sociais objetivando legitimar-se no espaço público, tendo como fonte de recursos o autofinanciamento ou o estabelecimento de parcerias com o ooder público e/ou a iniciativa privada. Conforme Montaño (2007:146), "a chamada parceria nada mais é do que, senão, o repasse de verbas e fundos públicos para instâncias privadas, substituindo o movimento social pela ONG".

Em lugar das organizações do Estado (burocrático e ineficiente) ou do mercado (lucrativo) para responder às demandas sociais, as organizações da sociedade civil assumem essa tarefa. Assim, em uma sociedade que possui três categorias de cidadãos: "consumidores de serviços mercantilizados; usuários de serviços estatais; excluídos e assistidos pela caridade e filantropia" (Montaño, 2007:198), cabe à sociedade civil se mobilizar para atender a última das três categorias de cidadãos. Essa alteração no cenário político estabeleceu duas mudanças significativas: a) de movimentos sociais anteriores, para ONGs que encarnam mais uma lógica gerencial e empresarial, pois estão articulados com o Estado e o capital privado, ambos provedores de recursos; b) de militantes no passado para voluntarismo e altruísmo, por meio da autorresponsabilização do cidadão e da comunidade local para executar relevantes ações de caráter social. Logo, aquela lógica de emancipação do homem e do cidadão que deu origem aos movimentos sociais na década de 1970 originou um enfoque de busca pela eficiência ao focar clientes, metas, ou alvos a serem atingidos (Tenório, 2004).

Na realidade, trata-se de organizações sem fins lucrativos que operam serviços destinados a aliviar os sintomas de desigualdades, objetivando melhorar as condições sociais, e ao mesmo tempo mantêm intactas as fontes dessa desigualdade em função de sua dependência de recursos, do agir localmente e do complexo campo de atuação (Anheier e Sibel, 2001; Salamon, 2006). Portanto, o foco da ação dessas organizações e/ou grupos de cidadãos objetiva prover desenvolvimento econômico, reduzir a pobreza, promover os direitos civis e defender interesses sociais e de grupos específicos. Essas quatro características de atuação num espaço social reconhecido como terceiro setor, atreladas aos princípios filosóficos que regulam suas ações, possibilitam uma análise mais aprofundada em relação ao tipo de atividade que se opera. Nesse sentido as organizações que atuam nesse campo são essencialmente independentes de governo e de empresas privadas, embora possam relacionar-se com ambos. Apesar de também englobar ações solidárias e atividades pontuais e informais, em termos gerais e formais, o terceiro setor é um espaço constituído pelo conjunto de entidades privadas, sem fins lucrativos, que realizam atividades complementares às públicas, objetivando prover soluções para problemas sociais em prol do bem comum (United Nations, 2003).

Tais atividades, quando operadas por entidades que tenham alguma realidade institucional, têm em comum seis características que as distinguem das organizações privadas e do Estado, a saber: a) são formalmente constituídas; b) não têm fins lucrativos e, por lei ou costume, não distribuem qualquer excedente que possa ser gerado para seus donos ou controladores; c) são institucionalmente separadas do governo; d) são autogeridas; e e) não compulsórias (Salamon e Anheier, 1997; United Nation, 2003).

Assim, são formalmente constituídas ao possuírem uma realidade institucional. Não possuem fins lucrativos, pois não existem primordialmente para gerar lucros, e não são dirigidas primordialmente por metas e considerações comerciais. Ou seja, podem acumular excedentes em um certo ano, mas esse excedente deve ser investido de volta na missão básica da instituição, teoricamente, não sendo distribuídos para os donos, fundadores, membros ou seus conselheiros. São separadas do Estado, pois não fazem parte do aparato governamental e não exercem autoridade governamental em seu benefício. São autogeridas, pois são capazes de controlar suas próprias atividades e não estão sob o controle efetivo de qualquer outra entidade, tendo, assim, capacidade de governança e estrutura própria. E, finalmente, não são compulsórias, pois sua filiação, contribuição de tempo e dinheiro não são requeridas ou obrigatórias por lei e nem fazem parte da condição de cidadania (United Nations, 2003). Isso inclui, portanto, congregações religiosas, universidades, hospitais, museus, grupos de direitos civis que abrigam excluídos, sindicatos, partidos políticos e organizações ambientais, entre outras. Tais entidades são criadas a partir de novos movimentos sociais ou por apoio de grupos e entidades ligadas a movimentos sociais, Igrejas e são mantidas por meio de financiamento de suas atividades, repasse de recursos privados e/ou públicos e/ou de recursos de cooperação internacional.

Nesse contexto, conforme Andion (2007), destacam-se cinco conjuntos de ONGs que se diferenciam em função do seu discurso, natureza e características de atuação. Primeiramente o que a autora chamou de ONGS históricas e de assessorias aos movimentos sociais, vinculadas às "transformações sociais como construção de uma nova hegemonia" por meio de uma mudança ética que altere o comportamento individual e coletivo (Andion, 2007:128). Nesse conjunto prevalecem relações estreitas com os movimentos afirmativos.

Um segundo conjunto é formado por um grupo de ONGs que a autora denominou de ONGs mais recentes e ligadas aos novos movimentos sociais. Nesse conjunto prevalecem relações estreitas com os movimentos afirmativos, sendo que, enquanto as de assessorias têm um papel de apoio aos movimentos populares, as mais recentes estão ligadas aos novos movimentos sociais (direitos de excluídos, ambientalistas, feministas, AIDS, entre outros). Segundo a autora "esses vínculos se traduzem por uma não separação entre os movimentos e as organizações" (Andion, 2007:128).

O terceiro conjunto é formado por um grupo de ONGs que a autora denominou de mais recentes formados por técnicos. Tais entidades são criadas por técnicos vinculados ao setor privado, às universidades ou ainda ao setor público, "visando responder a uma questão social, cultural, econômica ou ambiental particular" (Andion, 2007:128), por meio da prestação de serviços, objetivando prover a inserção profissional para resolver questões socioeconômicas, bem como atuar em áreas como saúde, educação, social, cultura e esporte. Seu foco de atuação tem uma característica muito forte de consultoria e são pautadas por uma profunda profissionalização das intervenções e articulação com as esferas empresariais, entidades sociais e setor público.

É muito similar à lógica de atuação desse grupo um quarto conjunto de ONGs, ligadas às empresas e caracterizadas como fundações e institutos ligados ao investimento social. Sua natureza e características de atuação são muito parecidas com o conjunto anterior, diferenciando-se apenas na natureza e gênese de sua criação, pois normalmente emergem de iniciativas ligadas somente ao setor privado, tendo uma atuação apolítica, com ênfase na ação cívica e no voluntariado. Nesse grupo estão inseridas aquelas entidades que atuam com um conceito recente no país, mas que existe em mais de 46 países do mundo. O conceito de fundações comunitárias é baseado na constituição de fundos que financiam outras entidades que atuam diretamente na execução dos projetos. Possui quatro premissas essenciais: a) base territorial definida; b) apoio financeiro e técnico às organizações sociais locais (Grant-making); c) mobilização de uma ampla gama de investidores sociais - fortalecimento de redes sociais; e) existência de mecanismo de sustentabilidades por meio de fundos permanentes (Dellagnelo, 2006). Portanto, são institutos que, apesar de não estarem vinculados diretamente às empresas, atuam de forma dependente delas e de entidades de financiamento internacional para fazerem face a seus objetivos primordiais. Assim, estas características possibilitam que tais entidades sejam criadas por grupos que querem viabilizar projetos sociais e que não possuem a capacidade ou interesse em criar uma fundação privada. Conforme Cleland e Ireland (2000), é uma forma de "incluir em projetos sociais pessoas que não teriam dinheiro suficiente para criar uma fundação privada, o que requer muito dinheiro e envolve muita burocracia".

Finalmente, a autora identifica um quinto grupo de ONGs com atuação caracterizada pela caridade, por meio de intervenções assistenciais como forma de prover insumos e serviços que atendam às necessidades de pobres e excluídos. A esse grupo, Andion (2007) denomina de organizações filantrópicas. Essa tipologia de agrupamento de ONGs conforme sua característica e natureza está representada de forma resumida pela figura 1 deste estudo.

3. Avaliações em projetos sociais

A avaliação em projetos sociais é amplamente debatida e pouco aplicada em sua essência. Quando aplicada, limita-se a controlar investimentos financeiros realizados ou simplesmente servir como relatório das atividades desenvolvidas, não refletindo em efetividade para atribuir valor ou mérito da ação social. Agrava-se ainda mais a situação ao se constatar a falta de amplo material que ajude, de forma aprofundada e didática, os atores sociais a desempenhar suas funções. Esse papel da avaliação nos remete, principalmente, às predileções metodológicas distintas em que a mesma se assenta quando realizada. Os aspectos considerados relevantes ao se avaliar uma intervenção social devem ir além daqueles considerados importantes sob a lógica da objetividade: economia, eficiência e eficácia.

Outros aspectos como equidade, participação, emponderamento, advocacy³ e impacto da intervenção tornam o exercício da avaliação mais desafiadora. Por exemplo, enquanto um pré-requisito para uma abordagem sistemática de avaliação com foco em economia, eficiência e eficácia é estabelecer as relações entre custo e consequências, um pré-requisito para avaliação de impacto é a qualidade da intervenção social e o nível de emponderamento obtido em médio e longo prazo. Essas divergentes visões da avaliação resultaram em uma diversidade de modelos, pois os mesmos são derivados de crenças filosóficas e ideológicas; predileções metodológicas distintas; atribuição de valor, opções práticas do avaliador e vínculos e interesses de clientes. Quanto às crenças filosóficas e ideológicas, Baker e Niemi (1996) sugerem que existem quatro fontes distintas em que se baseia o pensamento sobre a avaliação: "experimentação, mensuração, análise sistêmica e abordagens interpretativas" (Worthen, Sanders e Fitzpatrick, 2004:106). A experimentação é baseada na aleatorização, meticulosa atenção à unidade de análise e testes estatísticos. A mensuração pressupõe mecanismos de medidas comportamentais que produzirão números que formarão a evidência da efetividade do objeto avaliado. A análise sistêmica busca a inter-relação de inúmeras variáveis objetivando a tomada de decisão mais adequada. E, finalmente, a abordagem interpretativa é caracterizada pela utilização da hermenêutica e de teorias interpretativas para gerar julgamentos holísticos e de alta complexidade, por meio de metodologias alternativas de coleta e interpretação de dados (Worthen, Sanders e Fitzpatrick, 2004).

Essas fontes filosóficas e ideológicas podem ser caracterizadas conforme duas vertentes conceituais. Por um lado, Rebollo Catalán (1993:39) agrupouas em três tipos de modelos: "objetivista, subjetivista e crítico". Os autores afirmam que os modelos críticos ainda não estão suficientemente desenvolvidos e conceituam-no como sendo "um processo de recolha de informações que fomenta a reflexão crítica dos processos e conduz a tomadas de decisão pertinentes em cada situação específica". Logo, com conotação de papel formativo muito forte. Neste estudo, a análise de um modelo crítico foi incorporada nos modelos subjetivistas, pois, conforme Tenório (2004:47), "as teorias em ciências humanas são objetificantes; as teorias críticas são reflexivas [...] e o pesquisador é sempre parte do objeto que estuda, principalmente se esse objeto é social". Seguindo esta orientação, House (1983) cunhou apenas duas categorias, incorporando o modelo crítico aos modelos subjetivistas.

Assim, os modelos caracterizados como objetivistas requerem que as informações avaliatórias sejam "cientificamente objetivas" (House, 1983; Rebollo Catalán, 1993), ou seja, que usem técnicas de coleta e análise de dados e que forneçam resultados gerados por testes estatísticos, assegurando com isso o rigor científico e possibilitando a sua verificação e reprodução. São modelos objetivistas de avaliação aqueles que buscam determinar de forma causal e utilitária o que acontece com o objeto avaliado.

Na extremidade oposta às avaliações objetivistas, estão as avaliações com abordagens pluralistas que se baseiam no conceito de que o valor depende do impacto da intervenção sobre cada cidadão, individualmente, portanto, com uma concepção subjetivista para alcançar a compreensão dos impactos ocasionados. Assim, "o maior bem possível requer que se dê atenção aos benefícios recebidos por cada indivíduo" (Worthen, Sanders e Fitzpatrick, 2004:109). Para House (1983:50), "o critério final do que é bom e certo é definido pelos sentimentos ou apreensões individuais de cada participante".

Assim, os modelos subjetivistas estão preocupados em compreender o objeto avaliado por meio das percepções, da relevância, da formação e das qualificações do avaliador. Enquanto os modelos objetivistas possuem procedimentos externalizados, os modelos subjetivistas lidam com percepções internalizadas, portanto de difícil reprodução (House, 1983). O grande debate que se constitui entre estas duas vertentes de modelo está ligado, de um lado, à questão da reprodução dos modelos objetivistas que possibilitam a determinação factual e, de outro, à experiência acumulada pelo avaliador, que possibilita compreender, de forma complexa, o objeto avaliado. Portanto, enquanto os modelos objetivistas possuem procedimentos externalizados, os modelos subjetivistas lidam com percepções internalizadas, de difícil reprodução.

Além disso, conforme a crença filosófica e ideológica dos avaliadores, pode-se estabelecer uma relação em função da atribuição de valores de uma avaliação. Nesse sentido, conforme House, (1983:49), existe uma distinção relacionada às concepções objetivas e subjetivas da avaliação, podendo as mesmas serem "utilitarista ou intuicionista-pluralista". Uma avaliação utilitarista está relacionada à ideia de maximizar a felicidade na sociedade. Assim, sugere que a definição de valor está atrelada à constatação de "que o maior bem é aquele que vai beneficiar o maior número de indivíduos." (Worthen, Sanders e Fitzpatrick, 2004:109), logo, com uma concepção objetivista de determinação de valor. Por outro lado, as concepções intuicionista-pluralista se baseiam na premissa de que existe uma pluralidade de critérios de juízos e o avaliador não se restringe a estabelecer médias de forma imparcial para emitir juízo e relevância, mas, se caracteriza como alguém que compreende e descreve diferentes valores e necessidades. Só por meio do envolvimento de todos os participantes e grupos envolvidos no processo de avaliação é que esses objetivos serão alcançados.

Com relação às preferências metodológicas que influenciam os diversos métodos de avaliação, podem-se citar as abordagens quantitativas e qualitativas de coleta e análise de dados. Na primeira, a mais usual refere-se aos que trabalham no âmbito da ciência social, cujo modo de análise baseia-se no racionalismo encontrado em ferramentas e conceitos modelados nas ciências naturais de tradição positivista e cujos resultados se assentam em critérios especificados e objetivos. A segunda busca fundamentar as conclusões em critério mais subjetivistas por meio de metodologias construtivistas e participativas (Kendall, Knapp e Forder, 2006).

Mais do que aumentar o caloroso debate entre a utilização de um método ou de outro, de forma excludente, vamos buscar em Worthen, Sanders e Fitzpatrick (2004:118) o caminho ideal: "a integração inteligente de ambos os métodos [...] num único estudo avaliatório tem agora a aceitação tão grande que parece que o debate perdeu o sentido. [...] a maioria dos estudiosos de avaliação acha que usar ambos [...] faz com que esta (a avaliação) se torne mais completa". Portanto, uma terceira abordagem nasce ao se conjugarem as duas anteriores. Nesse caso, o processo de avaliação busca identificar "as sensibilidades para revelar os múltiplos significados expressos pelas partes interessadas" (Kendall, Knapp e Forder, 2006:427), que associadas a critérios objetivos, como eficácia, buscam examinar de forma mais complexa como essas diferenças podem ser ligadas com os stakeholders sociais e situações políticas. O grande desafio que se apresenta na avaliação de um projeto social é justamente sistematizar uma forma de coleta de dados que considere as duas abordagens, de forma simultânea, "considerando as necessidades dos stakeholders sociais" (Kendall, Knapp e Forder, 2006:427). Em termos conceituais, Schofield e Anderson (1987:8) afirmam que a pesquisa quantitativa em geral "concentra-se em testar determinadas hipóteses que são partes menores de uma perspectiva mais abrangente". E, continuam, afirmando que essa abordagem segue "rigorosamente o modelo tradicional das ciências naturais [...] enfatizando o experimento e os métodos estatísticos de análise". Portanto, a padronização, a precisão, a objetividade e a confiabilidade da mensuração permeiam uma avaliação com abordagem de coleta de dados quantitativa, possibilitando, em tese, sua reprodução e generalização.

Por outro lado, ainda conforme Schofield e Anderson (1987:8), a abordagem qualitativa "enfatiza a descrição subjetiva [...] e tende a se concentrar mais nos processos sociais do que, principal ou exclusivamente, em resultados". Nesse sentido, almeja buscar resultados mais reais, ricos e profundos levando a significados importantes e não alcançáveis em uma abordagem objetiva. Ainda, conforme os autores, a abordagem qualitativa "usa uma abordagem indutiva em relação à análise dos dados extraindo seus conceitos da massa de detalhes particulares que constituem o banco de dados" (Schofield e Anderson, 1987:8).

A avaliação de um projeto social pode ser caracterizada por três momentos: antes (ex-ante) do início, durante (in-itineri) e depois (ex-post) do projeto executado. Na primeira, a avaliação ex-ante, a agenda política e institucional permite escolher as melhores estratégias para a consecução dos objetivos do projeto. Nesse momento, as avaliações têm papel formativo e conceitual (preferências, formulação e pesquisa de opinião), irão estabelecer e identificar as necessidades e o planejamento para a implementação do projeto. Já o momento in-itineri busca avaliar e monitorar o projeto em curso. O ex-post tem papel somativo e avalia o projeto já realizado para estabelecer decisões de continuidade e alterações, bem como estabelecer o impacto da ação.

Finalmente, quanto ao design de uma avaliação, de uma forma geral, um processo de avaliação sistemático precisa que uma série de questionamentos sejam pontuados antecipadamente. Stufflebeam (1978) assevera que existem oito questões, que, ao serem respondidas, devem nortear um processo avaliativo eficiente: 1) O que é avaliação? 2) Para que as informações da avaliação devem servir? 3) Que perguntas de avaliação devem ser feitas? 4) Que informações a avaliação deve fornecer? 5) A quem os resultados da avaliação devem servir (quem são os stakeholders)? 6) Quem deve fazer a avaliação? 7) Como a avaliação deve ser conduzida? 8) Sob quais padrões (critérios) os dados da avaliação devem ser julgados? As respostas a tais questionamentos caracterizarão um norte à consecução do planejamento básico de um projeto de avaliação sistemático.

4. Os modelos teóricos de avaliação

Foi nesse cenário de diferentes visões filosóficas e ideológicas, preferências metodológicas distintas, bem como opções práticas do avaliador e vínculos e interesses de clientes que surgiram diversos modelos de avaliação. Autores como Gephart (1969) insistiam em sintetizar tais modelos para melhor compreendê-los. Por outro lado, autores como Raizen e Rossi (1981) lutavam para que não houvesse inibição de modelos, pois isso levaria a uma restrição ao desenvolvimento do campo da avaliação. Justamente no cerne desse debate, centrado em restringir os atuais modelos ou pela incapacidade de gerar um modelo ideal, que Worthen, Sanders e Fitzpatrick (2004) buscaram classificar as diversas abordagens em seis categorias objetivando facilitar o estudo e aplicação dos modelos existentes. Diversas formas de classificação e taxonomias foram propostas, como por exemplo, Guba e Lincoln (1981), House (1983), Madaus, Scriven e Stufflebean (1983); Pophan (1975); Scriven (1967, 1993), Stake (1967, 1975) e Worthen, Sanders e Fitzpatrick (1997), cada uma delas selecionando uma ou mais dimensões ou características consideradas adequadas ao tipo de classificação proposta. Payne (1994), por exemplo, agrupou os modelos de avaliação em quatro abordagens: administrativa, judicial, consumidor e antropológico.

Neste artigo, por considerá-la mais completa, será utilizada a categorização proposta por Worthen; Sanders e Fitzpatrick (2004:125), que agruparam os modelos em abordagens, conforme características similares. Para os autores uma avaliação pode ser centrada: 1) em objetivos (Tyler, 1971; Provus, 1973); 2) na administração (modelo CIPP de Stufflebeam) (Stufflebeam, 1978; Provus, 1973); 3) no consumidor (Scriven, 1993; Komoski, 1962; 4) em especialistas (Eisner, 1991); 5) nos adversários (Owens, 1973; Levine, 1979); 6) nos participantes (Stake, 1975 Patton, 1997; Guba e Lincoln, 1981) as quais, a seguir, serão devidamente detalhadas.

4.1 Avaliações centradas em objetivos

A característica principal desses tipos de avaliações está centrada na determinação do propósito da atividade, e a avaliação concentra-se justamente nas medidas em que esses propósitos foram atingidos. Assim, as avaliações centradas em objetivos se concentram na especificação de metas e objetivos e na determinação da medida em que esses foram atingidos. Diversos autores (Metfessel e Michael, 1967; Bloom, Hastings e Madaus, 1971, Scriven, 1967) contribuíram para a evolução desses modelos a partir dos estudos e experiências de Tyler (1971).

As avaliações centradas nesta abordagem, basicamente, buscam identificar se o que foi planejado foi atingido. Cabe ressaltar que esse tipo de avaliação tem uma séria restrição quando utilizada no campo social: normalmente, o alcance do trabalho realizado ultrapassa os limites dos seus objetivos. Nesse caso, podem surgir outros resultados e ocorrer mudanças nos projetos que levam a diferentes resultados, a novas perspectivas não previstas inicialmente (Worthen, Sanders e Fitzpatrick, 2004). Assim, essa abordagem de avaliação, quando utilizada de forma isolada, não permite olhar para esses novos contornos, em função de suas restrições para alterar metas e objetivos, perdendo, com isso, a oportunidade de explorar outros aspectos relevantes da realidade social. A figura 2 apresenta os detalhes específicos dos modelos centrados em Objetivos. Atualmente, na área social, os modelos centrados em objetivos são utilizados como requisito para definições dos padrões comportamentais, seleção e criação de situações de teste que evocam esses padrões e em termos de compreensão para que os resultados sejam utilizados de forma construtiva. Ou seja, hoje, podem ser utilizados com papel formativo para corrigir discrepâncias entre os objetivos almejados e os alcançados em determinada etapa do projeto. Têm como principal contribuição à conceituação de avaliação, a mensuração do desempenho antes e depois, bem como a obrigação de definição antecipada dos objetivos e metas. Os principais modelos que compõem esta abordagem são: modelo de Tyler (1971); modelo Metfessel e Michael (1967); modelo da discrepância de Provus (1973); modelo do cubo de Hammond (1973).

4.2 Avaliações centradas na administração

A característica principal dessa abordagem é ajudar as pessoas a tomar decisões e, portanto, as informações avaliatórias são parte essencial das decisões inteligentes. Nesse sentido, as avaliações centradas na administração têm interesse especial na identificação e no atendimento das necessidades de informações dos administradores. As avaliações se sustentam na visão gerencialista, que defende a racionalidade nos processos de tomada de decisão e, com isso, quanto mais informações à disposição do administrador maior a possibilidade de uma decisão eficiente. Conforme Stufflebeam (2003:5), nesse caso, a avaliação é um "processo de coleta de informações úteis à tomada de decisão e, sendo assim, o objetivo do processo é aumentar o grau de acerto nas decisões tomadas". A figura 3 apresenta os detalhes específicos dos modelos centrados na administração. Alguns aspectos do modelo da discrepância de Provus, mencionado anteriormente, como um modelo centrado em objetivos, também podem ser baseados no atendimento às necessidades de informações gerenciais e, portanto, caracterizados como modelo centrado na administração. Da mesma forma, o modelo criado por Patton (1997), centrado na utilização, não foi mencionado neste estudo, por se entender que se assemelha muito aos modelos citados como centrados na administração.

Os principais modelos que compõem esta abordagem são: modelo CIPP (contexto, insumos, processos e produto) de Stufflebeam (1968) e modelo de avaliação de Alkin (1969).

4.3 Avaliações centradas nos consumidores

O objetivo principal desses modelos de avaliação é o fornecimento de informações avaliatórias sobre produtos, portanto, com papel fortemente somativo. Ao optar pela criação de listas de verificação, os estudiosos descobriram que a avaliação também poderia ser utilizada como um papel formativo, para melhorar o produto, ainda durante o processo de criação, e com isso atender de forma mais eficiente o consumidor (Worthen, Sanders e Fitzpatrick, 2004).

Como as informações originadas da avaliação irão possibilitar a escolha para usos de diferentes produtos, serviços e similares, esses modelos levam em consideração a necessidade, o mercado, o desempenho e a utilidade do objeto avaliado. Mais que um modelo específico, as listas de verificações são instrumentos de fácil adaptabilidade para prover informações diversas aos consumidores. Diversas listas de verificação foram adaptadas e utilizadas de forma eficiente para análise de projetos, órgãos públicos e empresas privadas. Basicamente, essas listas de verificação são utilizadas para dar informações sobre os produtos e ajudar na tomada de decisões sobre compras ou escolhas de serviços, pois as mesmas têm características de análise, teste e de informações para subsidiar a tomada de decisão do consumidor. São muito utilizadas no desenvolvimento, seleção e distribuição de produtos. A figura 4 deste artigo apresenta as principais características inerentes às avaliações centradas no consumidor.

Os principais modelos que compõem esta abordagem são as listas de verificações propostas por Scriven (1967) e pelo Sistema de Análise de Material de Currículo (CMAS) criado por Morriset e Stevens em 1967.

4.4 Avaliações centradas em especialistas

A avaliação centrada em especialistas, a mais antiga e a mais usada, depende exclusivamente dos especialistas e da qualificação profissional dos avaliadores para julgar a qualidade de qualquer atividade que esteja sendo avaliada. Vários processos específicos de avaliação são variantes da abordagem centrada em especialistas, como exames de doutoramento, pareceres específicos, painéis para revisão de projetos, entre outros (Worthen, Sanders e Fitzpatrick, 2004). Em suma, esses modelos buscam oferecer julgamentos profissionais adequados e têm como características principais o fato de se basearem em juízos emanados dos conhecimentos e experiências profissionais buscando padrões consensuais. A figura 5 apresenta as principais características dos modelos centrados em especialistas.

Os principais modelos que compõem esta abordagem são os sistemas formais e informais de pareceres profissionais e os pareceres ad-hoc de grupos altamente especializados, bem como o sistema de connaisseur crítico de Eisner (1991).

4.5 Avaliações centradas em adversários

Ao contrário do cerne dos modelos de avaliação que objetivam eliminar a tendenciosidade, esse tipo de avaliação busca equilibrar as diferenças por meio da posição antagônica entre grupos distintos, objetivando buscar o consenso (Worthen, Sanders e Fitzpatrick, 2004). A controvérsia é o foco dessa oposição estruturada e planejada em termos de ponto de vista (prós e contras) e está centrada na possibilidade de ampla discussão como ponto de partida para a busca do consenso. Assim, ao considerar-se que os avaliadores necessitam interpretar informações, formular conclusões e determinar valor ou mérito, a avaliação centrada em adversário se presta a possibilitar um estudo mais complexo e participativo das questões que estão sendo avaliadas. Nesse sentido, um modelo geral deriva para algumas adaptações que serão motivos de análise. A seguir, serão descritos os principais modelos centrados em adversários.

A finalidade de modelos de avaliação centrada nos adversários está focada em oferecer um exame equilibrado de todos os lados de questões controversas, enfatizando tanto seus pontos fortes como seus pontos fracos. Têm como característica a utilização de metáforas de formas forenses e judiciais de audiências públicas, enfatizando pontos de vista contrários e suas decisões são baseadas em argumentos ouvidos durante todo o processo. Em função dessa construção subjetiva dos resultados de uma avaliação (com ampla discussão e reflexão) é que na figura 2, deste artigo, essa abordagem se aproxima muito de uma avaliação intuicionista-pluralista. A figura 6 demonstra as principais características dessa abordagem de avaliação. O principal modelo que compõe esta abordagem é decorrente das adaptações ao paradigma jurídico que se baseia na Teoria da Luta, por meio da defesa de pontos prós e contras no mesmo estilo de julgamentos públicos.

4.6 Avaliações centradas nos participantes

Esse tipo de avaliação responde à reação dos teóricos aos padrões mecanicistas e insensíveis de avaliações. Em consequência dessa reação, nasce um tipo de abordagem de avaliação que passa a enfatizar a experiência por meio da observação e identificação de todas as preocupações, problemas e consequências inerentes às ações da área social. Em suma, é uma avaliação puramente intuicionista-pluralista. Esses modelos, portanto, caracterizam-se por um método de pesquisa que está crescendo em países em desenvolvimento, pois focam iniciativas que envolvem a comunidade no projeto que está sendo avaliado. Estão principalmente preocupados em: 1) criar um processo mais igualitário onde a perspectiva do avaliador é determinada pelas prioridades dos outros stakeholders, inclusive aqueles que participam diretamente do projeto; 2) propõe que o processo de avaliação e seus resultados sejam pertinentes e úteis a quem se beneficia com o projeto e seus stakeholders, incluindo ambos ativamente no processo de avaliação (W.K. Kellogg Foundation, 1998).

A primeira grande contribuição em avaliações centradas no participante foram os dois princípios básicos defendidos por Stake (1975. Para o autor, "a avaliação é um processo de julgamento com foco na descrição e no processamento de julgamento dos participantes" (Stake,1975:9). Segundo ele, as etapas de uma avaliação são as seguintes: contexto, justificativa e descrição do fundamento lógico do projeto; lista de antecedentes, transações e resultados; registrar tudo; definir os padrões de julgamento; registrar os julgamentos (Stake, 1975). As duas faces da avaliação (descrição e julgamento) são consideradas as principais atividades de um objeto avaliado. Descrever sucintamente e produzir julgamentos completos acerca do objeto avaliado ajuda o avaliador a organizar a coleta e a interpretação dos dados. Assim, a estrutura de duas faces de Stake fornece aos avaliadores um quadro referencial para refletir sobre as necessidades de dados de uma avaliação (antecedências, transações e resultados) (Worthen, Sanders e Fitzpatrick, 2004). Outros autores que contribuíram para essa abordagem de avaliação foram: Guba e Lincoln (1981:9) - a avaliação é um processo de julgamento e meio de emponderar os participantes; Patton (1975, 1997 - a avaliação deve colher o pluralismo dos valores para ser útil ao processo decisório. Foi, porém, a partir dos dois princípios básicos de Stake (descrição e julgamento), que alguns modelos se destacaram e serão descritos a seguir. Portanto, a finalidade da avaliação centrada nos participantes está em compreender e retratar as complexidades de uma atividade, respondendo às necessidades de informações de determinado público, utilizando-se de planos de avaliação, raciocínio indutivo e de reconhecimento de múltiplas realidades. A figura 7 deste estudo sintetiza as principais características dessa abordagem. Outros modelos, como avaliação transacional (Ripley, 1973), desenvolvente (Patton, 1997) e democrática (MacDonald, 1974) ainda carecem de maiores detalhamentos e análises mais profundas, pois possuem características ainda similares com as descritas anteriormente. Finalmente, conforme Hamilton (1970:339), os modelos pluralistas de avaliação, se "comparados aos modelos clássicos são mais extensivos e mais adaptáveis. Por outro lado, é provável que sejam mais sensíveis aos diferentes valores dos participantes de um programa". Ao focar em valores e participação, dando voz aos interessados, coloca-se como uma avaliação puramente intuicionistapluralista.

5. Metodologia e análise dos dados

As entidades Grupo de Trabalho Comunitário Catarinense (GTCC); Associação Catarinense de Integração do Cego (Acic); Associação Evangélica Beneficente de Assistência Social (Aebas); Instituto Comunitário da Grande Florianópolis (Icom) e finalmente o Movimento Negro Unificado (MNU) foram estudadas considerando como acontecem seus processos avaliativos e se esses processos são baseados em modelos que são influenciados pela natureza de sua existência. As ONGs foram escolhidas em decorrência da similaridade com o modelo proposto por Andion (2007), explicitados pela figura 1 deste artigo e demonstrado de forma sintética pela figura 8, a seguir.

Como técnicas de coleta de dados, foram utilizadas seis fontes: 1) entrevistas em profundidade e/ou focalizadas, não estruturadas com gestores; 2) análise de documentos; 3) registros de arquivos; 4) artefatos físicos; 5) observação direta (não participante) e 6) observação participante. No caso da observação participante, utilizou-se de três ONGs que se disponibilizaram a dar o suporte necessário às atividades de pesquisa, buscando integrar o pesquisador ao grupo investigado, o que possibilitou extrair percepções mais contundentes, produzindo, durante o período de pesquisa, reflexões a respeito dos processos avaliativos. Nos casos das ONGs GTCC, Acic e MNU, tais experiências foram bastantes profundas, pois o pesquisador participou de reuniões, atividades e discussões dos processos avaliativos. Tais percepções e reflexões se caracterizam como "os insigths que levem a repensar o fenômeno sob investigação", evitando um afastamento entre sujeito, objeto e contexto (Merrian, 1998, apud Godoy, 2006:121). Já nas entidades Icom e Aebas, a coleta de dados ocorreu de forma documental, entrevistas com os gestores e consultas em registros e arquivos disponibilizados pelas mesmas.

Antes do início da coleta de dados, foi elaborado um protocolo de pesquisa que objetivou identificar antecipadamente todos os procedimentos, instrumentos e regras gerais que deviam ser seguidos na aplicação dos instrumentos de pesquisa. A abordagem utilizada por meio das técnicas de análise dos dados foi do tipo qualitativa, por meio da análise do conteúdo que ocorreu ao se categorizar os modelos de avaliação. Para Vergara (2008:18), categorizar "implica em isolar elementos para depois agrupar". No caso deste estudo, foram criadas metacategorias (temas principais), as quais foram relacionadas às categorias (temas secundários) e representadas por frases que denotam a utilização de um modelo conforme os seis grupos estudados. Portanto, o critério adotado foi léxico (Bardin, 1979:118), pois os elementos foram agrupados em categorias temáticas por meio de um ordenamento interno das orações. As categorias foram identificadas antecipadamente ao trabalho de campo. Portanto, caracteriza-se como uma grade "fechada" (Vergara, 2008:18). Assim, na análise dos dados, em um contexto específico, o surgimento de alguma palavra, documento, artefato ou expressão que se relaciona com algum dos modelos estudados identificou uma tendência de utilização daquele modelo.

A análise do conteúdo foi a técnica utilizada para o tratamento dos dados. Caracteriza-se como uma técnica que admite tanto abordagens quantitativas como qualitativas, podendo inclusive utilizar-se de ambas. Conforme Vergara (2008:16), "em quaisquer dos casos implica em categorização". Na pesquisa realizada, a técnica utilizada teve três etapas básicas: a pré-análise do conteúdo; a exploração do material e o tratamento dos dados e interpretação (Vergara, 2008; Richardson, 2008). Assim, a interpretação qualitativa dos dados aconteceu por emparelhamento, pois partiu de uma associação dos resultados com o referencial teórico pesquisado para, finalmente, realizar a comparação e interpretação. E não se utilizou da repetição de palavras, ou também conhecida por construção iterativa de uma explicação (Vergara, 2008). Quanto à população e amostra, foi utilizada a amostra não probabilística intencional em função da especificidade do tema abordado e da quantidade de ONGs que realizam avaliações formais. Nesse caso, as ONGs escolhidas intencionalmente referem-se à tipologia de entidades desenvolvidas por Andion (2007) e foram entrevistadas as gestoras dos projetos sociais dessas cinco ONGs estudadas, citadas anteriormente, que, além de realizar algum tipo de avaliação, desenvolvem projetos sociais de relevância junto à comunidade de atuação.

A primeira ONG estudada foi a Acic, que se caracteriza como uma entidade que nasceu com o objetivo de inserir os excluídos na sociedade, com um vínculo muito forte de caridade. Hoje se apresenta como uma entidade que busca a inserção das pessoas por meio da alfabetização, educação e profissionalização, desvinculando a noção de caridade e assistencialismo para assumirse como uma entidade, organizada e com objetivo de ser um canal facilitador da educação integral. O foco de atuação é a alfabetização, educação e profissionalização, os quais passam a permear os objetivos organizacionais, por meio de um discurso de lutas dos direitos dos excluídos, em substituição ao foco como caridade e assistencialismo para prover insumos a esses excluídos.

Em função de suas características, a entidade se enquadra na tipologia de Andion (2007) como uma entidade filantrópica. Nas palavras da entrevistada se evidencia essa afirmativa: "a nossa missão é incluir as pessoas cegas na sociedade e isso é o nosso maior objetivo" (Acic, 2008). Tal percepção se coaduna com as palavras de Andion (2007), ao afirmar que são entidades "caracterizadas pela caridade, por meio de intervenções assistenciais como forma de prover insumos e serviços que atendam às necessidades de pobres e excluídos". Assim, organizações filantrópicas possuem uma matriz discursiva pautada pela "assistência social e filantropia que se redefine nas últimas décadas com a profissionalização e a politização" (Andion, 2007:133).

Os dois principais projetos em andamento são: habilitação e reabilitação (locomoção, alfabetização e educacional) e profissionalização. Com relação à atribuição de valor do processo avaliativo, a mesma se mostra utilitarista em função da característica de objetividade em todos os processos, bem como pela predominância de abordagens de coleta de dados do tipo quali-quanti. Essa afirmação decorre da observação do pesquisador que, ao participar das reuniões de coordenação dos projetos, identificou uma rotina de formulários para coleta de dados que são triangulados com os depoimentos dos professores para uma tomada de decisão eficiente. A Acic, em função de sua atribuição de valor do processo avaliativo, se utiliza de modelos de avaliações objetivistas e com característica de tomada de decisão. Os modelos centrados nos objetivos têm como característica principal a determinação da medida em que os objetivos estão sendo alcançados. A análise dos temas (principais - metacategorias - e secundários - categorias) por meio dos conteúdos diretos (manifestos) em comparação com os isolados na categorização está demonstrada de forma sintética por meio da figura 9 deste artigo.

A segunda ONG a ser estudada foi o GTCC, que nasceu da motivação de diversos funcionários da Eletrosul em ajudar os mais necessitados. Busca, por meio do envolvimento social, filantrópico e político, atender principalmente às crianças em situação de vulnerabilidade ou de marginalidade, provendo-as de atividades culturais, esportivas e de cidadania.

Nesse contexto, um trabalho de educação, conscientização e autoestima torna-se o único meio de se modificar essa realidade promovendo o desenvolvimento cultural e social. Assim, crianças e jovens carentes são o foco de atuação do GTCC, partindo da seguinte convicção: investir em educação nas comunidades carentes é a única forma de evitar que as crianças cresçam sem valores, sem perspectivas de evolução e sem condições de transformar sua própria realidade. Motivados por esse quadro e compartilhando da mesma visão, o Grupo de Trabalho Comunitário Catarinense, o Grêmio Recreativo, Escola de Samba Consulado e a Associação de Moradores do Caeira (Amoca) uniram suas forças para desenvolver o Projeto Caeira 21, objeto de pesquisa deste estudo. Em função de suas características, a entidade se enquadra na tipologia de Andion (2007) como novos movimentos, pois possuem uma matriz discursiva pautada pela "defesa de projetos sociais fora da relação capital-trabalho e as transformações sociais passam não só pela mudança nas relações materiais da existência, mas por transformações culturais, [...] substantivas no cotidiano" (Andion, 2007:133). Essa matriz discursiva se materializa nas palavras da entrevistada: "crianças do Caeira do Saco dos Limões começam então todo um trabalho de valorização do potencial criativo [...] os seus talentos e o reconhecimento delas, desse seu potencial e da comunidade [...]". O conceito principal do Projeto Caeira 21 reside na premissa de que a arte é o meio escolhido para chegar aos objetivos de educar, informar, prevenir e conscientizar. Por meio da arte, quebram-se todas as barreiras, resistências, diferenças e preconceitos, pois quando crianças e jovens vivenciam o processo de criar, dançar ou cantar, tornam-se iguais, capazes e reconhecidos por isso. Esses valores que o projeto busca propiciar formarão a base para que crianças e jovens conquistem seus sonhos de felicidade, sucesso, reconhecimento e cidadania. A consecução desses objetivos, na visão dos idealizadores do projeto, irá contribuir de maneira significativa para a redução da violência, miséria, ignorância e marginalidade.

A análise dos temas (principais - metacategorias - e secundários - categorias) por meio dos conteúdos diretos (manifestos), em comparação com os isolados na categorização, está demonstrada de forma sintética por meio da figura 10 deste artigo.

O Icom da Grande Florianópolis é uma iniciativa de um grupo de profissionais, líderes comunitários e empresários, que buscavam uma alternativa inovadora para promoção do desenvolvimento social local. Foi fundado em 25 de novembro de 2005, tendo como principal objetivo a articulação entre empresários e grupos profissionais na gestão de fundos, elaborando programas técnicos de investimento social, identificando as organizações a serem apoiadas e avaliando seus resultados. Busca também, por meio de parcerias internacionais, oportunidades de intercâmbio e aprendizagem entre investidores sociais de diversos países.

Tem como eixos de atuação a produção e disseminação de informações sobre organizações e iniciativas sociais locais, o apoio técnico e financeiro a organizações sem fins lucrativos, bem como a capacitação para o fortalecimento institucional e o estabelecimento de parcerias. Declara em sua página eletrônica que a sua missão é "mobilizar, articular e qualificar investimentos sociais de diversos setores da sociedade para promoção do desenvolvimento social na região metropolitana de Florianópolis" (Icom, 2008). Em função de suas características, a entidade se enquadra na tipologia de Andion (2007) como fundações e institutos.

Essa afirmação evidencia-se pelo escopo de atuação declarada pela entrevistada: "ICOM é uma organização que nasceu inspirada no conceito de fundação comunitária, ainda não muito comum no Brasil, mas que existe em vários países do mundo". Tal constatação se coaduna com as palavras de Andion (2007, p. 133), ao afirmar que são entidades "mais recentes ligadas ao investimento social privado [...] com ênfase na articulação e nas parcerias e apoiadas pelo setor empresarial". Assim, as fundações e institutos possuem uma matriz discursiva pautada pelo foco "na complementaridade entre a ação pública e privada por meio de investimento social privado, a ação social das empresas e da responsabilidade social" (Andion, 2007:133). Essa matriz discursiva se materializa pelo conjunto de depoimentos da entrevistada, ao afirmar que: "o Icom atua em três áreas". "a produção e disseminação de conhecimento sobre a realidade local", ao buscar identificar quais os focos prioritários para o investimento social na cidade de Florianópolis, na criação de "fundos de investimentos sociais, que dão apoio técnico e financeiro às fundações e organizações do terceiro setor" e, finalmente, na "criação de fundos específicos em nome de empresas ou indivíduos que querem fazer um investimento social neste território de atuação".

Ao avaliar a sua atuação, a entidade demonstra uma predominância por avaliações formativas e somativas em função da característica de gestão dos recursos de terceiros. Com relação às avaliações somativas, essa tendência fica evidenciada pelo depoimento da entrevistada: "para nós, essa avaliação (somativa) é essencial, porque como a gente trabalha com investidores, que colocam dinheiro no Icom, acreditando que o Icom vai fazer o trabalho, a gente tem que provar para eles que fizemos bem". Assim, as avaliações somativas ocorrem ao prestar contas aos financiadores, aos parceiros e à sociedade. A análise dos temas (principais - metacategorias - e secundários - categorias) por meio dos conteúdos diretos (manifestos), em comparação com os isolados na categorização, está demonstrada de forma sintética por meio da figura 11 deste artigo.

A quarta entidade estudada foi a Aebas, que foi fundada por um grupo de voluntários da Primeira Igreja Presbiteriana de Florianópolis, com o objetivo inicial de construir o Hospital Evangélico de Florianópolis. O projeto logo teve adesão de outras comunidades evangélicas da capital e foi inviabilizado por questões financeiras. Mais tarde, foi substituído pelo Ambulatório da Aebas, onde a população empobrecida recebia atendimento de consultas médicas, clínica geral, pediatria e ginecologia, atendimento odontológico e de exames laboratoriais. Em 1982, a partir da convivência com as comunidades carentes que frequentavam o ambulatório médico, a direção da entidade percebeu a necessidade de um trabalho específico e sistemático na àrea da infância e dessa forma inaugurou o Centro de Assistência Social (CAS) da Aebas, que na época passou a atender diariamente 130 crianças de três meses a seis anos em sua creche.

Declara que sua missão é "realizar e apoiar ações na área da assistência social, saúde e educação, de forma participativa e qualificada na Região metropolitana de Florianópolis, visando permanentemente ao resgate e à construção da cidadania plena de todos os envolvidos em suas ações". Esta ênfase fica evidenciada pelas parcerias declarada pela entrevistada: "temos um convênio com uma ONG alemã KNH, [...] temos convênio com a prefeitura de Florianópolis, com algumas empresas e também campanhas e promoções que a gente vai fazendo para arrecadar recursos para o CAS" (Aebas, 2008).

Na visão de Andion, os prestadores de serviços possuem uma matriz discursiva pautada pela "ênfase na profissionalização e na resolução de problemas socioeconômicos" (Andion, 2007:133). Por outro lado, essa tendência de matriz discursiva fica mais explicitada na preocupação dos gestores da entidade, ao inserir na sua pesquisa coleta de informação a respeito dos interesses de cursos profissionalizantes nas comunidades atendidas, como forma de embasar ações a serem previstas no planejamento de 2009. Portanto, essa associação que nasceu com objetivos de caridade, voluntarismo e assistencialismo, principalmente na área da saúde, com foco em pessoas de todas as idades e que estão em situação de não acesso a tais serviços, hoje se apresenta como uma entidade que busca a inserção das crianças e jovens por meio da educação complementar, saúde (hábitos e higiene) e assistência (profissionalização, cultura e cidadania) como forma de prevenção para situações de vulnerabilidade. Essa mudança de foco deveu-se principalmente à exigência do principal financiador. A análise dos temas (principais - metacategorias - e secundários - categorias) por meio dos conteúdos diretos (manifestos), em comparação com os isolados na categorização, está demonstrada de forma sintética por meio da figura 12 do presente artigo.

A última ONG estudada foi o MNU, que se apresenta como uma organização política de combate ao racismo e atua desde 1978. Nesse período, tem cumprido papel importante na luta por questões como liberdade e emancipação do povo negro no Brasil. Sua data de criação - 7 de julho de 1978 - é fruto de denúncia da violência policial e consequente morte, por tortura, do jovem negro Robson Silveira da Luz, e da discriminação de jovens atletas negros pela diretoria do Clube Tietê na capital paulista. Tais fatos originam, posteriormente, um Ato Público de protesto que aconteceu na cidade de São Paulo, quebrando um silêncio político de luta de combate ao racismo que durava mais de 40 anos. Caracteriza-se como um movimento autônomo e independente, que transformou a data de 20 de novembro como o dia nacional de luta contra o racismo. Em manifesto nacional, o MNU, em 1979, propôs a transformação do dia 20 de novembro no Dia Nacional da Consciência Negra. Em suma, o Movimento Negro Unido funciona como um agente de combate aos excessos que limitam as liberdades e a emancipação do povo negro, com forte atuação ideológica, e seu discurso reside na luta para melhorar a vida das pessoas negras deste país. Não possui qualquer fonte de recurso regular e seus projetos e campanhas são realizados, principalmente em parcerias com entidades ligadas aos estudos de questões sociais (núcleos de estudos ligados às Universidades) e órgãos governamentais que atuam em campos como a reforma agrária, direitos das mulheres, entre outros.

Em função dessas características, a entidade se enquadra na tipologia de Andion (2007) como históricas ou de assessoria. Essa afirmação fica evidenciada pelo escopo de atuação declarada pela entrevistada: "porque o princípio do MNU é organize os negros onde eles estiverem, para lutar a favor de seus direitos", e continua ao afirmar que a "bandeira de luta do MNU é reparações. Reparações para a população negra, pelo trabalho escravo de seus ancestrais, por toda exclusão [...] a sociedade brasileira tem uma dívida com a população negra". Essa declaração coincide com as palavras de Andion (2007), ao afirmar que são entidades que atuam "junto aos grupos populares de base (no meio rural e urbano)" e que sua "legitimidade se refere ao apoio aos grupos desfavorecidos". Ainda nas palavras de Andion, tais organizações possuem uma "atuação anti-institucional, questionadora do sistema capitalista e da ação do Estado" (Andion, 2007:133). Para consecução de seus objetivos, o MNU possui um quadro de militantes que atuam por meio de um discurso ideológico e combativo. Ao ser arguida sobre o número de associados, a entrevistada de pronto respondeu: "não! não existem associados, todos são militantes". A análise dos temas (principais - metacategorias - e secundários - categorias) por meio dos conteúdos diretos (manifestos), em comparação com os isolados na categorização, está demonstrada de forma sintética por meio da figura 13 deste artigo.

6. Considerações finais

Foram reconhecidos neste estudo, a partir da tipologia de Andion (2007), cinco grupos de ONGs: históricas, novos movimentos, prestação de serviços, fundações e institutos e filantrópicas. As ONGs estudadas foram, por conveniência, escolhidas conforme suas características coincidentes com a tipologia utilizada. Assim, um primeiro cenário que emerge ao analisar os processos avaliativos e os focos de atuação de tais ONGs se caracteriza pela existência de uma tendência de que as organizações que atuam apoiadas pela cooperação privada, pelo Estado ou organismos internacionais, e cujos focos de atuação expressem valores técnicos como profissionalização, saúde, educação e gestão, tendem a utilizar modelos centrados em objetivos e administração, em função das necessidades de se estabelecerem indicadores sólidos de eficiência e eficácia da intervenção social. Nesse caso, as entidades caracterizadas neste estudo como novos movimentos, prestação de serviços e fundações e institutos tendem a avaliar seus projetos atribuindo valores utilitaristas, e as informações geradas têm papel formativo para corrigir os processos durante a sua execução (atuar) e somativo para julgar e informar, possibilitando a reutilização dos recursos e, consequentemente, a replicação da intervenção.

Por outro lado, um segundo cenário se evidencia por meio das organizações que atuam apoiadas por grupos populares consistentes, cujo discurso expressem valores mais subjetivos como inserção social, prevenção e luta de apoio aos excluídos, e que se afirmam por meio de múltiplas identidades coletivas e pela pluralidade de ação, as quais tendem a utilizar modelos centrados na participação, utilizando mecanismos indutivos para gerar critérios de sustentabilidade, satisfação dos beneficiários e equidade. Portanto, as entidades caracterizadas, neste estudo, como novos movimentos e históricas tendem a avaliar seus projetos e intervenções atribuindo valores intuicionistas-pluralistas com papel formativo, por meio das discussões acerca das ações, as quais geram informações que possibilitaram o julgamento da intervenção social. Nesse caso, compreende e descreve diferentes valores e necessidades, por meio do envolvimento de todos os participantes e grupos envolvidos.

Assim, identificado um padrão de utilização de modelos de avaliações, cabe às organizações que avaliam seus projetos sociais, com tendências unilaterais, rever seus processos, de forma a ampliar a análise das intervenções objetivando gerar informações mais consistentes para possibilitar um julgamento adequado. Assim, amplia-se o antigo debate em torno da utilização de um modelo ou de outro, de forma excludente, para uma prática que Worthen, Sanders e Fitzpatrick (2004:118) chamaram de caminho ideal: "a integração inteligente de ambos os métodos [...] num único estudo avaliatório tem agora a aceitação tão grande que parece que o debate perdeu o sentido. [...] a maioria dos estudiosos de avaliação acha que usar ambos [...] faz com que esta (a avaliação) se torne mais completa".

Diante do exposto nos itens anteriores, e voltando à questão norteadora deste estudo, conclui-se que os modelos avaliativos analisados nas cinco ONGs da Grande Florianópolis são influenciados pela natureza do foco de atuação, em decorrência de que tais fatores ensejam valores mais objetivos em alguns casos e mais subjetivos em outros. Assim, quando os valores que norteiam as ações das entidades são mais técnicos, decorrentes até de uma profissionalização das mesmas, os modelos avaliativos tendem para processos que gerem informações e julgamentos utilitaristas. Por outro lado, quando os valores migram para elementos mais subjetivos, por meio de focos de atuação que envolvam os atores sociais nos processos decisórios e de execução, a tendência migra para modelos intuicionistas-pluralistas, como forma de ampliar o envolvimento de todos os atores sociais, muitas vezes decorrentes do exíguo aporte de recursos e da dependência de voluntários, para equilibrar as necessidades prementes à consecução dos seus objetivos.

Referências

ALKIN, M.C. Evaluation theory development. Evaluation comment. Chicago: University of Chicago Press, 1969. v. 2, p. 2-7.

ALVES, M.A. Terceiro setor: as origens do conceito. In: ENANPAD, XXVII, 2002, Salvador. Anais... Salvador: Enanpad, 2002. (GPG 837)

ANDION, M.C.M. Atuação das ONGs nas dinâmicas de desenvolvimento territorial sustentável no meio rural de Santa Catarina: os casos da Apaco, do centro Vianei de educação popular e da Agreco. Tese (doutorado em sociedade e meio ambiente) - Universidade Federal de Santa Catarina, Florianópolis, 2007.

ANHEIER, H.K.; SIBEL, W. The nonprofit sector in Germany. Manchester: Manchester University Press, 2001.

BAKER, E.L.; NIEMI, D. School and program evaluation. In HANDBOOK OF EDUCA-TION PSyCHOLOGy. New york: Macmillan, 1996. Disponível em: <http://books.google.com/books?hl=pt-BR&lr=&id=tNMTKjUjuHEC&oi=fnd&pg=PA15&dq=%22Handbook+of+education+psychology%22&ots=24EomkfNyo&sig=cOhbFEBDj-WNeRP-GcMIyLLs3tI#PPA16,M1>. Acesso em: 5 jan. 2008.

BARDIN. L. Análise do conteúdo. Lisboa: Edições 70, 1979.

BLOOM, B.S., HASTINGS, J.T.; MADAUS, G.F. Handbook on formative and summative evaluation of student learning. New york: McGraw-Hill, 1971.

BRASIL. Código civil. Decreto-lei nº10.406, de 10 de janeiro de 2002. Art. 44-69. São Paulo: Europa, 2003. CD-ROM.

______. Código civil. Decreto-lei nº10.825, de 22 de dezembro de 2003. Art. 44. Disponível em: <www010.dataprev.gov.br/sislex/paginas/11/2002/10406.htm>. Acesso em: 25 abr. 2008.

CLELAND, D.I.; IRELAND, R.I. Gerência de projetos. Rio de Janeiro: Reichmann & Affonso, 2000.

DELLAGNELO, Lucia. Fundações comunitárias. Revista Alliance, São Paulo, mar. 2006.

EISNER, E.W. The use of qualitative forms de evaluation for improving education practice. Chicago: Educational evaluation and Policy Analyses, 1991.

GEPHART, W.J. The eight general research methodologies: a facet analysis of the research process. In.: PHI DELTA KAPPA RESEARCH SERVICE CENTER. Bloomington, 1969.

GUBA, E.G.; LINCOLN, yvonna S. Effective evaluation. San Francisco: Jossey-bass, 1981.

HAMILTON, D. Making sense of curriculum evaluation: continuities and discontinuities in an educational idea. In. SCHULMAN, L. Review of researche in education. Itaska: Peacock, 1970. v. 5.

HAMMOND, R.L. Evaluation at the local level. In. WORTHEN, B.R.; SANDERS, J.R. Education evaluation: theory and practice. Belmont: Wadsworth, 1973.

HOUAISS, A. Dicionário eletrônico da língua portuguesa. São Paulo: Objetiva, 2001. 1.0. CD-ROM.

HOUSE, E.R. (Ed.). Philosofy of evaluation New Directions for Program Evaluation, San Francisco, n. 19, 1983.

______; GLASS, G.V. Justice in evaluation. Beverly Hills: Sage, 1978.

KENDAL, J.; KNAPP, M.; FORDER, J. Social care and the nonprofit sector in the western developed world. In: POWELL, W.W.; ESTEINBERG, R. (Ed.). The nonprofit sector: a research handbook. 2. ed. yale: yale University Press New Haven & London, 2006. p. 415-431.

KOMOSKI, K.P. Teaching machines: the American behavioral scientist. Newbury Park: Sage, 1962.

LEVINE, M.; ROSENBERG, N. An adversary model of fact finding and decision making for program evaluation: theoretical considerations. New york: Behavioral Publications, 1979. v. 2.

MADAUS, G.F; SCRIVEN, M.; STUFFLEBEAM, D.L. Evaluation models: viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff, 1983.

MARX, K. Formações econômicas pré-capitalistas. 5. ed. Rio de Janeiro: Paz e Terra, 1986.

MACDONALD, J.B. An evaluation of evaluation. Urban Review, London, n. 7, p. 3-14, 1974.

METFESSEL, N.S.; MICHAEL, W.B. A paradgma involving multiple criterion measures for the evaluation of the effectiveness of school programs. Education and Psychological Measurement, Stanford, v. 27, p. 195-213, 1967.

MONTAÑO, Carlos. Terceiro setor e questão social: crítica ao padrão emergente de intervenção social. 4. ed. São Paulo: Cortez, 2007.

OWENS, T.R. Education evaluation by adversary proceeding. In: HOUSE, E.R. (Ed.). School evaluation: the politics of program evaluation. Newbury Park: Sage, 1973.

PATTON, M.Q. Alternative evaluation research paradigm. Grand Forks: North Dakota Study Group on Evaluation, 1975.

______. Utilization focused evaluation: the new century text. Thousand Oaks: Sage, 1997.

PAYNE, D.A. Designing educational project and program evaluations: a practical overview based on research and experience. Boston: Kluwer Academic Publishers, 1994.

POPHAN, W.J. Education evaluation. Englewood Cliffs: Prentice-Hall, 1975.

PROVUS, M. Discrepancy evaluation. Berkeley: McCutchan Publishing Corporation, 1973.

RAIZEN, S.A.; ROSSI, P.H. Program evaluation in education: when? how? to what ends? Washington: National Academy Press, 1981.

REBOLLO CATALÁN, M.A. Modelos de evaluación: concepto y tipos. In: COLÁS BRAVO, M.P.; REBOLLO CATALÁN, M.A. Evaluación de programas. Sevilha: Kronos, 1993.

RICHARDSON, R.J. Pesquisa social: métodos e técnicas. 3. ed. São Paulo: Atlas, 2008.

RIPLEy, R.M. Studies in transactional evaluation. Berkeley: MacCutchan, 1973.

ROCHE, C. Avaliação de impacto dos trabalhos de ONGs: aprendendo a valorizar as mudanças. 2. ed. São Paulo: Cortez/Abong, 2002.

SALAMON, L.M. International the nonprofit sector in comparative perspective. In: POWELL, W.W.; ESTEINBERG, R. The nonprofit sector: a research handbook. 2. ed. yale: yale University Press New Haven & London, 2006. p. 89-114.

______; ANHEIER, H.K. Defining the nonprofit sector: a cross-national analysis. Manchester: Manchester University Press, 1997.

SCHOFIELD, J.W.; ANDERSON, K.M. Combining quantitative and qualitative methods in research on ethnic identity and intergroup relations. Educational, Management and Administration Society, Los Angeles, p. 121-127, 1987.

SCRIVEN, M. The methodology of evaluation. In: STAKE, R.E. Curriculum evaluation. Chicago: Rand McNally, 1967.

______. Hard-won lessons in program evaluation. New Directions for Program Evaluation, New york, n. 58, p. 5-48, Summer 1993.

STAKE, R.E. The countenance of educational evaluation. Teachers College Record, New york, n. 68, p. 523-540, 1967.

______. Evaluation the arts in education: a responsive approach. Columbus: Merril, 1975.

STUFFLEBEAM, D.L. Evaluation as enlightenment for decision making. Columbus: Ohio State University Evaluation Center, 1968.

______. Meta evaluation: an overview. In: Evaluation and the Health Profession, v.1, n. 1, p. 17-43, Spring 1978.

______. The CIPP model for evaluation. In: ANNUAL CONFERENCE OF THE OREGON PROGRAM EVALUATORS NETWORK (OPEN), 2003, Oregon. Anais... 2003. p. 1-68. disponível em: <www.wmich.edu/evalctr/pubs/CIPP-ModelOregon10-03.pdf>. Acesso em: 3 jan. 2008.

TENÓRIO, F.G. (Org.). Responsabilidade social empresarial: teoria e prática. Rio de Janeiro: FGV, 2004.

TyLER, R.W. Basic principles of curriculum and curriculum and instruction. Chicago: University of Chicago Press, 1971.

UNITED NATIONS. Handbook of National Accounting: handbook on non-profit institutions in the system of national accounts. New york: United Nations Publication, 2003. Disponível em: <www.jhu.edu/ccss/unhandbook/docs/Front&Chapters.pdf>. Acesso em: 29 abr. 2008.

VERGARA, S.C. Métodos de pesquisa em administração. 3. ed. São Paulo: Atlas, 2008.

______; FERREIRA, V.C.P. A representação social de ONGs segundo formadores de opiniões no município do Rio de Janeiro. Revista de Administração Pública (RAP), p. 1137-1159, set./out. 2005.

WORTHEN, B.R.; SANDERS, J.R.; FITZPATRICK, J.L. Program evaluation: alternative, approaches and practical guidelines. New york: Longman, 1997.

______. Avaliação de programas: concepções práticas. São Paulo: Edusp, 2004.

W.K. KELLOGG FOUNDATION. Evaluation Handbook: philosophy and expectations. Michigan: Battle Creek, 1998. Disponível em: <www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf>. Acesso em: 7 jan. 2008.

Artigo recebido em jun. 2009 e aceito em out. 2010.

1

Ideologia em Karl Marx: conjunto de ideias presentes nos âmbitos teórico, cultural e institucional das sociedades, que se caracteriza por ignorar a sua origem materialista nas necessidades e interesses inerentes às relações econômicas de produção, e, portanto, termina por beneficiar as classes sociais dominantes (Houaiss, 2001).

2

Ideologia: "Sistema de ideias (crenças, tradições, princípios e mitos) interdependentes, sustentadas por um grupo social de qualquer natureza ou dimensão, as quais refletem, racionalizam e defendem os próprios interesses e compromissos institucionais, sejam estes morais, religiosos, políticos ou econômicos" (Houaiss, 2001).

3

Advocacy: definido como a ação de ONGs e grupos específicos voltada à luta por mudanças nas políticas e práticas para o benefício de determinados grupos de pessoas, ou ainda como "o uso estratégico das informações para democratizar as relações desiguais de poder e para melhorar a condição daqueles que vivem na pobreza ou que são discriminados de diversas formas" (Roche, 2002:231).

Datas de Publicação

• Publicação nesta coleção
  05 Abr 2012
• Data do Fascículo
  Fev 2011

Histórico

• Aceito
  Out 2010
• Recebido
  Jun 2009