Condições para avaliação de resultados em políticas públicas: um debate sobre o papel da institucionalidade

Resumo

A análise teve os objetivos de oferecer elementos de reflexão aos atores que desenham e implementam políticas públicas e de manter aceso o debate sobre a avaliação de resultados, concorrendo para integrá-lo à complexidade da ação no setor público. O estudo foi motivado a partir do levantamento de trabalhos sobre o tema, publicados no período de 1979 a 2019. A exploração das abordagens oferecidas pelos autores selecionados permitiu a identificação de variáveis que possuem relevância para a análise de políticas públicas e que se expressam nas influências exercidas pelas trajetórias institucionais, pelos atores e pelo contexto organizacional. Conclui-se que: (i) a vinculação entre a institucionalidade e a capacidade de condução de avaliações de resultados em políticas públicas merece ser objeto de atenção em estudos futuros; (ii) o debate sobre o tema poderá ser fortalecido por análises que considerem não apenas as decisões adotadas, mas também as regras, normas e estratégias, que definem a cena político-institucional na qual são implementadas as políticas públicas.

Palavras-chave:
institucionalidade; políticas públicas; avaliação de resultados

Abstract

The goals of this analysis are (i) to offer elements of reflection to the actors who design and implement public policies; (ii) to keep the debate on outcomes evaluation alight; (iii) to contribute toward integrating the debate on evaluation to the complexity of actions in the public sector. This theoretical essay researched works published on the subject from 1979 to 2019. The investigation of the approaches offered by the selected authors allowed identifying variables that are relevant to the analysis of public policies. The variables are expressed in the influences of institutional trajectories, actors, and organizational context. The analysis brings the following concluions: (i) the link between institutionality and the capacity to conduct results evaluations in public policies deserves attention in future studies; (ii) the debate on the topic can be strengthened by analyses that consider not only the decisions adopted, but also the rules, norms and strategies that define the political-institutional scene in which public policies are implemented.

Keywords:
institutionality; public policy; outcomes evaluation

Resumen

Los objetivos de este análisis fueron: (i) ofrecer elementos de reflexión a los actores que diseñan e implementan políticas públicas; (ii) mantener vigente el debate sobre la evaluación de resultados; (iii) contribuir a integrar el debate sobre la evaluación y la complejidad de las acciones en el sector público. El ensayo teórico investigó trabajos relacionados desde 1979 hasta 2019. La exploración de los enfoques ofrecidos por los autores seleccionados permitió la identificación de variables que son relevantes para el análisis de políticas públicas y que se expresan en las influencias ejercidas por las trayectorias institucionales, los actores y el contexto organizacional. Se concluye que: (i) el vínculo entre la institucionalidad y la capacidad para llevar a cabo evaluaciones de resultados en políticas públicas merece atención en estudios futuros; (ii) el debate sobre el tema puede fortalecerse mediante análisis que consideren no solo las decisiones adoptadas, sino también las reglas, normas y estrategias que definen el escenario político-institucional en el que se implementan las políticas públicas.

Palabras clave:
institucionalidad; políticas públicas; evaluación de resultados

1. INTRODUÇÃO

Este ensaio procurou examinar como a literatura tem tratado as relações entre a institucionalidade de uma política pública e a adoção de processos voltados para sua avaliação de resultados. No longo alcance, o objetivo consiste em manter aceso o debate sobre o tema da avaliação de resultados em políticas públicas, concorrendo para integrar os aspectos analíticos aqui apresentados à complexidade da ação no setor público e ampliar as chances de viabilização de avaliações de resultados.

O levantamento realizado na literatura sobre avaliação de políticas públicas indica que o tema tem mantido relevância no debate realizado no campo da administração pública no decorrer das últimas quatro décadas. A compreensão de que o uso da avaliação é relevante para a orientação e reorientação das políticas públicas e para a mensuração da ação governamental frente às demandas da sociedade se apresenta como uma tendência em grande parte das sociedades ocidentais (Anderson, 2008; Batista & Domingos, 2017; Bovaird, 2014; Bourgeois & Cousins, 2013; Cousins, Goh, Elliot, & Bourgeois, 2014; Crumpton, Medeiros, Ferreira, Sousa, & Najberg, 2016; Cunill-Grau & Ospina, 2012; Hall, 2004; Hanberger, 2011; Hill & Hupe, 2005; Labin, 2014; Lane, 2014; March, 2009; Mark & Henry, 2004; Mastenbroek, Voorst, & Meuwese, 2015; Meny & Thoenig, 1992; Oliveira & Passador, 2019; Oliveira & Pinho, 2011; Oliver, Innvar, Lorenc, Woodman, & Thomas, 2014; Oliver, Lorenc, & Tinkles, 2019; Patton, 1988, 1999; Pressman & Wildavsky, 1984; Ramos & Schabbach, 2012; Richardson, 2013; Sabatier & Weible, 2007; Scott, 1998; Serapioni, 2016; Suarez-Balcazar & Taylor-Ritzler, 2013; Vedung, 1997; Wandersman, 2014; Weiss, 1979, 1993, 1998, 1999, 2010; Winter, 1990).

Várias são as razões apontadas pelos autores consultados para explicar a importância das ações de avaliação no ciclo de políticas públicas e de sua influência sobre a definição da agenda, a formulação e a implementação das políticas. Mark, Henry, e Julnes (2000) identificaram que as avaliações devem ser feitas com o objetivo de prover os meios para o reconhecimento de mérito e de valor; para a melhoria organizacional e programática no ambiente governamental; e, para a supervisão e o desenvolvimento do conhecimento sobre políticas públicas. Anderson (2008), Mark e Henry (2004), Meny e Thoenig (1992) e Weiss (1988a) consideram que a razão de ser da avaliação encontra-se na vinculação entre os processos avaliativos e a busca por melhoria social, dado que oferecem aos agentes governamentais o ensejo de ajustar as políticas, no sentido de aperfeiçoa-las em prol da sociedade (social betterment).

Contudo, em que pese a presença e a relevância do tema na literatura, Weiss (1999) estimulou o debate quando analisou contextos de implantação de políticas públicas e identificou contradições entre o reconhecimento existente na literatura sobre a contribuição propiciada pelos processos avaliativos e o seu desmerecimento por parte dos gestores de políticas públicas. As análises conduzidas por Weiss (1999) vincularam o desmerecimento e a fragilidade dos processos de avaliação não apenas aos modelos mais prevalentes dos processos decisórios governamentais mas também aos atributos dos agentes públicos que atuam na arena governamental, na qual são formuladas e conduzidas as políticas públicas.

Weiss (1999) identificou variáveis importantes para a compreensão das relações que se estabelecem em cenários de formulação de políticas públicas: os contextos com elevado grau de informalidade da política e com baixo nível de debate estariam associados à baixa valorização das ações de avaliação. Nos contextos informais, Weiss (1999) observou a tendência para a valorização do conhecimento inerente aos formuladores das políticas em detrimento dos balizamentos oferecidos pelos processos de avaliação, enquanto os contextos descentralizados, democráticos e participativos se associaram à valorização das ações de avaliação.

Weiss (1999) contrastou a facilidade para a identificação dos valores associados à avaliação com os obstáculos postos para a sua entrada na arena das políticas públicas, observando que embora as ações de avaliação tenham muito a oferecer aos gestores de políticas públicas, estes atores raramente baseiam novas políticas em resultados de avaliação. Weiss (1999) atribuiu esta contradição no âmbito da gestão tanto às pressões exercidas pela competitividade, quanto aos fatores ideológicos e à fragmentação existente nos cenários de implementação das políticas públicas.

Isso posto, à luz dos elementos analíticos levantados pelos trabalhos de Weiss (1999, 1998, 1993, 1979) foram sistematizados trabalhos capazes de contribuir para o debate sobre o tema da avaliação de resultados, delimitados pelas seguintes questões: As políticas públicas mais institucionalizadas reúnem maiores condições de terem seus resultados avaliados? Quais variáveis podem ser utilizadas para evidenciar a institucionalidade de uma política pública?

O método aplicado para a condução do estudo consistiu na realização de revisão sistemática sobre o tema da avaliação de resultados em políticas públicas, em bases nacionais brasileiras e internacionais, utilizando-se termos de busca em língua portuguesa (avaliação de resultados; avaliação de impacto; políticas públicas; institucionalidade) e inglesa (evaluation of results; impact evaluation; public policy; institutionality) para o período compreendido entre 1979 e 2019.

Foram selecionados para a realização desta análise os trabalhos que adotaram o referencial teórico e metodológico neo-institucionalista para abordar os fatores envolvidos na avaliação de resultados em políticas públicas.

2. AS BASES CONCEITUAIS DO DEBATE

No campo da administração pública, a ação de avaliar envolve aspectos que a situam entre a ciência e a arte. Trata-se, portanto, da reflexão organizada não apenas sobre o conteúdo das políticas públicas, mas também sobre o seu contexto de implementação. Nesse sentido, avaliar implica prover análises sobre as condições existentes para o funcionamento de uma política, os objetivos que foram atingidos e os efeitos, esperados e inesperados, que foram produzidos sobre a realidade que procurava transformar (Anderson, 2008; Bovaird, 2014; Hall, 2004; Hansen, Klejsntrup, & Andersen, 2013; Hill & Hupe, 2005; Mark et al., 2000; Meny & Thoenig, 1992; Oliver et al., 2019; Scott, 1998; Trosa, 2001).

Entre os trabalhos considerados clássicos para o estudo das políticas públicas, Pressman e Wildavsky (1984) relacionaram as interfaces existentes entre a avaliação das políticas públicas, a aprendizagem organizacional e a implementação. De acordo com esses autores (Pressman & Wildavsky, 1984), a avaliação amplia a aprendizagem organizacional e a aprendizagem orienta e norteia a implementação. Assim, a aprendizagem organizacional conteria a essência para a compreensão das variáveis envolvidas nos processos de implementação e de avaliação de políticas públicas. Pressman e Wildavsky (1984) realçaram o papel da avaliação de políticas públicas para a condução de processos de adaptação e de aprendizagem político-institucional. Nesse sentido, ressaltaram o potencial das ações avaliativas para conciliar o conhecimento obtido sobre a formulação e a implementação de uma determinada política com o poder político-institucional, gerando possibilidades de alteração de rumos na arena governamental.

Nestes termos, além de representar ocasiões de aprendizagem e de aperfeiçoamento das capacidades organizacionais envolvidos na implementação de políticas públicas (Cousins et al., 2014; Mark & Henry 2004; Patton, 1988; Cousins & Leithwood, 1986), os processos avaliativos orientam os gestores públicos sobre a qualidade e a importância das políticas públicas implementadas sob sua responsabilidade, dotando-os de informações e de elementos de análise (feedbacks) capazes de contribuir para aperfeiçoar, como um todo, o funcionamento organizacional da estrutura administrativa. Anderson, (2008), Trosa, (2001), Mark e Henry (2004) e Mark et al. (2000) consideram que as ações de avaliação são instrumentos fundamentais para elevar a transparência e a visibilidade ambicionadas pelos estados democráticos, sobretudo nos contextos que valorizam a instituição sistemática de prestação de contas à sociedade como exercício de cidadania.

Weiss (1999) situou o cidadão como o principal beneficiário das ações de avaliação, definindo como o objetivo central dos processos avaliativos o de contribuir para que as organizações públicas aperfeiçoem suas políticas, planos e práticas, sempre no interesse da sociedade.

Para Mark & Henry (2004) as ações de avaliação se associam tanto a forma como as pessoas atribuem sentido às políticas públicas que são implementadas com o objetivo de atender às necessidades da sociedade quanto aos esforços empreendidos pelos agentes públicos para a correção e a ampliação das políticas públicas implantadas em ambientes democráticos.

Nesse sentido, Hanberger (2011) vinculou a conceituação de avaliação ao cumprimento de seis funções (ou variáveis): a melhoria de políticas e programas; a responsabilização interna, informando sobre processo e desempenho; a legitimação; a promoção da aprendizagem organizacional; responsabilização democrática e externa; e ao cumprimento de funções simbólicas / rituais.

Embora sejam muitas e amplas as definições para as ações de avaliação, há em comum entre elas a ideia de que avaliações contribuem decisivamente para gerar o conhecimento necessário à orientação do processo decisório em políticas públicas, sendo, portanto, oportunidades únicas e valiosas de aprendizado organizacional e de aperfeiçoamento da política, pautando-se, portanto, em quatro pilares - conhecimento, aprendizagem, decisão e aperfeiçoamento. Nestes termos, para os efeitos desta análise, a avaliação de resultados em políticas públicas compreende as ações governamentais que tem os objetivos de ampliar o conhecimento acerca dos produtos e resultados alcançados por uma política pública, indicando se há o alinhamento almejado com os propósitos, os objetivos e as metas primordiais. A avaliação de resultados, em complemento, procura prover os gestores de políticas públicas com informações acerca das repercussões, esperadas ou inesperadas, que resultaram do processo de implementação das políticas públicas, com a finalidade de preservar ou rever não apenas o delineamento adotado como também as ações de implementação, aperfeiçoando a política a partir do conhecimento auferido. Assim, as ações de avaliação são aquelas que buscam oferecer informações sobre as consequências, esperadas ou inesperadas, decorrentes da implementação de uma política pública, no sentido de manter ou corrigir as decisões adotadas no seu desenho ou na fase de implementação, visando seu aperfeiçoamento com base na aprendizagem obtida (Anderson, 2008; Hanberger, 2011; Mark et al., 2000; Mark & Henry, 2004; Weiss, 1979, 1988b, 1999).

As contribuições de Douglass North (1991) para esta abordagem decorrem da ênfase conferida por este autor ao papel desempenhado pelas instituições nas sociedades. North (1991) ampliou o conceito de instituições, chamando atenção para as possibilidades relativas à redução das incertezas e às limitações envolvidas nas interações institucionalmente mediadas, considerando-as como ferramentas capazes de conectar passado, presente e futuro. North (1991) definiu as instituições como procedimentos formais e informais, rotinas, normas e convenções imersas na estrutura organizacional da política ou da economia, resultantes da competição entre grupos de interesses, que interagem entre si e com o Estado. North (1991) distinguiu ainda instituições e organizações, conceituando as instituições como regras e as organizações como os times e os principais agentes de transformação das sociedades.

O papel dos estados nacionais no desenvolvimento de mudanças institucionais inovadoras e as repercussões sobre a dinâmica político-institucional dos governos foi objeto de estudo de North (1991), para quem tais mudanças devem ser elaboradas tanto com base nas relações estabelecidas entre as estruturas que lhes dão sustentação institucional quanto nas organizações estruturais que delas decorrem. As análises realizadas por Evans (1993, 2008) e Skocpol (1985) agregaram que as regras e os fatores organizacionais influenciam a cultura política, a burocracia e as capacidades estatais, identificando, entre elas, a capacidade estatal de avaliação de políticas.

Ostrom (2007) conceituou as regras como prescrições, as normas como prescrições internalizadas, e as estratégias como planos, que tendem a produzir regras, normas e expectativas. Ao fazê-lo, Ostrom (2007) associou regras, normas e estratégias aos contextos de implementação de políticas públicas. Ostrom (2007) considerou os níveis de análise operacional, as escolhas coletivas, constitucionais e metaconstitucionais, mas seu foco principal fixou-se no efeito das regras sobre a implementação de políticas.

Hofstede (2003), fundamentado nos seus estudos sobre as influências culturais exercidas pelos países em contextos organizacionais, sugeriu que o termo cultura seja considerado, nas análises organizacionais, como forma de programação mental, sendo a programação coletiva da mente que distingue os membros de um grupo ou categoria em face de outro (Hofstede, 2003). A cultura, em sentido lato, seria adquirida e compartilhada, sendo proveniente do ambiente social dos indivíduos e grupos. Ao tempo em que reconheceram a relevância dos fatores culturais para a estruturação e as decisões tomadas no âmbito organizacional, McSweeney (2009) e Hall (2004) advertiram sobre as dificuldades que são inerentes à conceituação do que seja a cultura que cerca uma organização (Hall, 2004).

De fato, o termo cultura, no sentido lato da palavra e conforme adotado nos estudos de antropologia social, tem sido considerado ora como atributo ou qualidade interna a indivíduos ou grupos (Scott, 2004), ora como fenômeno coletivo, que engloba não apenas formas de pensar, sentir e se comportar, mas envolve o compartilhamento entre pessoas que vivem no mesmo ambiente social onde é adquirida (Hofstede, 2003).

Para Weiss (1999) o grau de institucionalidade de uma política encontra-se associado às circunstâncias históricas, culturais, operacionais, orçamentárias e reguladoras das organizações públicas. Nesse sentido, o percurso institucional e as resoluções que precedem a implementação de uma política imprimem forte determinação sobre a condução dos processos de avaliação que serão instituídos (path-dependence). Assim, Weiss (1999) argumenta que as ações de avaliação participam do processo institucional não apenas contribuindo para a incorporação do conhecimento em novas regras, novos hábitos e novas práticas organizacionais, mas também concorrendo para mudanças na cultura e na ideologia institucional.

Nesta perspectiva, o construto de institucionalidade adotado na presente análise considera o termo como a assimilação organizacional de regras, formais e informais, que decorrem de decisões e de escolhas adotadas no período de formulação e de implementação de uma política pública. A presença desses processos de regramento organizacional é relevante por dificultar a reversão da política face às expectativas que geram em situações nas quais o custo (político/institucional) de alteração ou supressão da política é superior ao custo de sua manutenção. A clareza das regras, normas e estratégias é considerada um fator associado à estabilidade e à possibilidade de obtenção de resultados por uma política (Lane, 2014; North, 1991; Ostrom, 2007; Pierson, 2000; Streeck & Thelen, 2005; Weiss, 1999).

Isso posto, a institucionalidade de uma política pública pode ser evidenciada mediante atributos como: (i) a inserção da política nas organizações que participaram do processo de mudança institucional na área (Streeck & Thelen, 2005); (ii) o grau de formalidade da política (Anderson, 2008; Trosa, 2001); (iii) o nível de debate entre as organizações que participaram de sua formulação e implementação (Hall, 2004; Meny & Thoenig, 1992); e (iv) o grau de descentralização que apresenta, no que tange aos aspectos decisórios e à execução das ações (Weiss, 1999).

3. AS BASES EMPÍRICAS DO DEBATE

Na literatura voltada para o tema da avaliação de políticas públicas há vários estudos que apontam para a existência de associações entre a institucionalidade de uma política e as chances de que seus resultados sejam avaliados (Farrell & Héritier, 2004; Hall, 2004; Hanberger, 2011; Hofstede, 2003; Ingraham, 1987; Ingram, Schneider, & Deleon 2007; Kuhlmann & Shapira, 2009; Lane, 2014; Mahoney & Thelen, 2010; March, 2009; North, 1991; Ostrom, 2007; Pierson, 2000; Sabatier & Weible, 2007; Skocpol, 1985; Streeck & Thelen, 2005; Wandersman, 2014; Weiss, 1999, 1993, 1988a, 1988b, 1979).

Na exploração dos estudos que vincularam a avaliação de resultados e a institucionalidade de políticas públicas, assume destaque o conjunto de análises conduzidas por Weiss (1999, 1993, 1988a, 1988b, 1979) sobre as relações que se estabelecem entre a avaliação de políticas públicas e os processos de tomada de decisão pelos gestores de políticas (policymakers). Weiss (1999) associou o engajamento dos gestores de políticas públicas para conduzir ações de avaliação ao grau de compreensão que possuem acerca do poder de instrução da avaliação sobre as decisões relativas à formulação e à implementação de políticas públicas. Segundo Weiss (1999) desde que estejam comprometidos com as denominadas ‘boas políticas’ e compreendam o poder que as ações de avaliação possuem no sentido de manter a adequação das políticas às necessidades da população, os gestores tendem a valoriza-las, utilizando o conhecimento advindo da avaliação para o redesenho das políticas e a readequações dos seus objetivos e metas. Assim, para estes agentes públicos, a motivação para a condução de processos de avaliação residiria na oportunidade de, a partir do conhecimento obtido nesses processos, obter melhores e mais adequados resultados, decorrentes da implantação de políticas públicas.

Ingraham (1987), a partir de seus estudos realizados na década de 1980, destacou que, a compreensão dos processos de escolhas dos agentes públicos relativos à implantação de processos avaliativos requer a condução de análises que considerem as variáveis presentes no contexto de formulação da política.

Nesse sentido Ingraham (1987) enfocou a complexidade que envolve não apenas as decisões envolvidas no processo de desenho de uma política pública, nas quais se incluem as ações de avaliação, como também ressaltou a relevância das escolhas feitas pelos policymakers ou agentes públicos na formulação de indicadores específicos para a organização das ações de avaliação. Há também situações nas quais as dificuldades para evidenciar os resultados de uma política pública podem não ser decorrentes da ausência de resultados frente aos objetivos propostos pela política. Em alguns casos, a avaliação de resultados é impossibilitada por lacunas decorrentes de um desenho pouco consistente da política (Ingraham, 1987; Hanberger, 2011; Howlett, 2014).

Dentre as razões identificadas por Weiss (1999) para explicar a baixa frequência para a condução de ações de avaliação de políticas públicas, merecem destaque as situações de desconexão institucional entre os processos de formulação e o de avaliação das políticas. Em contraste, a implantação descentralizada das políticas, os sistemas políticos competitivos e os sistemas democráticos foram identificados como propiciadores da institucionalização das ações de avaliação. Weiss (1999) destacou ainda que, não obstante a relevância dos processos de avaliação para os grupos de pressão, membros do legislativo e legisladores, lideranças de partidos, contribuintes, grupos potencialmente beneficiados pelas políticas, pesquisadores, dentre outros, os agentes públicos ou policymakers constituem o grupo que mais diretamente é impactado, ao tempo que impacta, nos resultados decorrentes da implantação das políticas públicas em que estão envolvidos.

Pierson (2000) associou a ocorrência de eventos específicos (particularmente daqueles que são definidores de regras) às práticas organizacionais institucionalizadas, nas quais podem ser incluídas as avaliações de processos e de resultados. As análises de Pierson (2000) chamaram atenção para conjunturas nas quais ocorrem grandes mudanças políticas, que se caracterizam por interferir nos posicionamentos assumidos pelos atores no jogo político, alterando as regras e os instrumentos de poder institucional.

A matriz teórica de Pierson (2000), por um lado, contribuiu para explicar como o encadeamento de decisões prévias explica trajetórias posteriormente assumidas na implementação e nos resultados de políticas públicas, configurando-as como dependentes da trajetória ou path dependent. Por outro lado, ao analisar como as ações governamentais complementam as decisões adotadas em períodos de grandes mudanças, suas análises se aproximaram de outros modelos teóricos voltados para a institucionalidade das políticas públicas, também presentes nos estudos realizados por Mahoney e Thelen (2010), Streeck e Thelen (2005) e North (1991). Não obstante as especificidades de cada um desses modelos, todos recorreram à relevância assumida pelas alterações nas regras como forma de construção de viabilidade, com reflexos na implementação e nos resultados das políticas públicas.

Há estudos que esclareceram as situações nas quais variáveis de natureza cultural estariam relacionadas à ausência de ações avaliativas em alguns processos de implantação de políticas públicas (McSweeney, 2002, 2009; Ostrom, 2007; Scott, 2004; Trompenaars, 1994). Fundamentado nos vínculos existentes entre as resistências culturais, a aprendizagem e as mudanças nos ambientes organizacionais, Hofstede (1997) verificou que determinados padrões de comportamento, de sentimento e de pensamento dos policymakers são capazes de provocar interferências nas decisões relativas à formulação de políticas públicas. Para Hofstede (2003) estes padrões interferem não apenas no desenho das políticas públicas, mas também na forma como seus resultados serão, ou não, avaliados.

Kuhlmann e Shapira (2009) e Farrell e Héritier (2004) encontraram associações entre a institucionalidade das políticas públicas e os resultados por elas obtidos em países industrializados. Kuhlmann e Shapira (2009) analisaram as relações entre os estilos de governança, a política e os resultados sobre a inovação e encontraram evidências de que a regulação feita pelo Estado influencia tanto a forma de evolução quanto os resultados produzidos pelos sistemas de inovação. Hanberger (2011) associou a montagem de sistemas de avaliação à boa governança, aos arranjos políticos, institucionais e procedimentais, que se relacionam com o ambiente interno e externo das políticas públicas, destacando que o desenho da política e o apoio dos gestores são fatores críticos para a implementação e o funcionamento de sistemas de avaliação.

Na mesma tendência analítica, Mahoney e Thelen (2010) e Streeck e Thelen (2005) enfatizaram a importância da institucionalidade para o reconhecimento e a avaliação de resultados em processos de implementação de políticas públicas, destacando tanto o peso das características institucionais das políticas quanto de suas interações com agentes em processos de mudança institucional. Streeck e Thelen (2005) destacaram a relevância das regras e das normas estabelecidas para o reconhecimento do grau de institucionalidade atingidos em processos de formulação de políticas públicas, realçando o peso dos contextos políticos, das características institucionais e de sua interação com os agentes em processos de mudança institucional.

A ênfase da institucionalidade da política para a condução de avaliações de resultados foi desenvolvida em outros estudos realizados por autores que se filiam à vertente institucionalista, dentre os quais, podem ser particularmente destacadas, as análises realizadas por March (2009) e Sabatier e Weible (2007).

O modelo de análise previsto por Sabatier e Weible (2007), Advocacy Coalition Framework - ACF ou coalizões de defesa, previu que a institucionalidade de uma política a conduz a situações de estabilidade, sendo este o caso de políticas que se mantém por mais de uma década. Sabatier e Weible (2007) associaram políticas estáveis aos modelos de avaliação de resultados normativamente construídos, visando contemplar: (i) a vinculação entre os objetivos da política e os valores que busca construir; e (ii) o foco nas possibilidades de reformulação e revisão, decorrentes da aprendizagem obtida com base na condução de avaliações.

No modelo de coalizões de defesa (Sabatier & Weible, 2007), o processo de elaboração de políticas é visto a partir de um sistema de crenças e entendido como o modo de interpretação dos problemas, que é tanto capaz de gerar coesão quanto desconfiança entre os participantes do processo. Sabatier e Weible (2007) distinguiram os fatores externos às políticas como estáveis (aqueles que se mantêm por mais de uma década) e dinâmicos (aqueles variam em períodos mais curtos). Para Sabatier e Weible (2007)o fator temporal é tido como uma variável relevante para a identificação da estabilidade de uma política, devendo ser considerado na proposição de seus indicadores de avaliação e no seu desenho avaliativo.

Sabatier e Weible (2007) propuseram um modelo de análise de políticas que contempla as decisões adotadas nos processos de formulação de políticas públicas, e que, por esta razão, também contribui para a construção de abordagens voltadas para a avaliação de resultados. Esses autores relacionaram fortemente a avaliação de resultados em políticas públicas a quatro fatores: (i) ao conjunto de decisões que foram manifestadas por ocasião da formulação da política; (ii) à capacidade de proposição clara dos objetivos da política pelos seus formuladores; (iii) aos fatores relacionados aos produtos e aos resultados da política; e, (iv) às possibilidades de reajustes contempladas no desenho da política, provocadas pelo conhecimento obtido no decorrer do processo de implementação.

Sabatier e Weible (2007) propuseram uma abordagem na qual os processos de avaliação de resultados devem ser definidos mediante a elaboração de propostas construídas sob forte conteúdo normativo. Esses autores argumentam que as ações de avaliação devem contemplar e expressar o desenho de regras, cuja abrangência informe tanto sobre a vinculação entre os valores e os objetivos da política, quanto sobre as possibilidades de ajustes e as mudanças de rumo calcadas no conhecimento e na aprendizagem provenientes do processo de avaliação.

Em trabalho posterior ao realizado por Sabatier e Weible (2007), March (2009) apresentou um modelo de aprendizado institucional a ser considerado na avaliação de políticas públicas cujo ponto de partida consiste em indagações sobre o que aconteceu, por que aconteceu e se o que aconteceu foi satisfatório ou insatisfatório (March, 2009). O trabalho de March valorizou sobremaneira o percurso histórico das organizações e das sociedades, preconizando que as respostas para as questões postas no momento inicial dos processos de avaliação devem incorporar os eventos históricos que, por vezes, não são considerados como objetos de observação. Além desses eventos históricos, March sugere que devem ser considerados, dentre outros, os eventos concretos e os eventos que foram observados, bem como a interpretação dos policymakers sobre eles. Para March (2009) os processos de aprendizagem institucional que orientam a avaliação de resultados recorrem tanto às análises institucionais, quanto às seleções, às barganhas e às imitações. Desse modo, esses fatores institucionais passaram a influenciar e, portanto, a assumir relevância, na condução de análises que considerem as relações existentes entre a aprendizagem e a avaliação de resultados.

March (2009) chamou ainda a atenção para o fato de que as análises institucionais que envolvem a participação de diferentes indivíduos devem considerar que a assimilação do aprendizado nesses contextos ocorre de modo diferente. Assim, mesmo que os participantes da implementação de uma política pública tenham vivenciado os mesmos processos históricos, suas experiências são afetadas por fatores como a recordação, a interpretação e a avaliação feita por eles (March, 2009).

As situações nas quais os processos de avaliação de políticas públicas produzem resultados contraditórios, indicando sucessos ou fracassos conforme a situação do avaliador, também foram analisadas por March (2009). Esse autor identificou uma tendência à autocongratulação por parte dos avaliadores, o que produziria ajustes tanto nos níveis de aspiração quanto nas suas definições sobre o que deve ou não ser valorizado nos processos avaliativos. Nesse sentido, variáveis como a experiência e a elaboração de juízos de valor pelos avaliadores são variáveis importantes para explicar resultados de avaliação que considerem a distância entre as expectativas iniciais e os resultados obtidos.

Nesses termos, Anderson (2008) sinalizou que a ausência de informações acerca dos resultados obtidos por uma política atuaria como um obstáculo para a identificação dos fatores que contribuem para o seu sucesso ou fracasso. Esses obstáculos se expressariam nas dificuldades para a tomada de decisões sobre os ajustes necessários à definição e à reformulação das políticas, no sentido de continuar, de modificar, de fortalecer ou até de terminar com a sua implementação.

Numa perspectiva que se aproxima das empregadas por Anderson (2008) e Weiss (1999), Wandersman (2014) propôs que as avaliações devem ser empoderadas, assumindo que a capacidade avaliativa é uma construção organizacional, que envolve fatores como: (i) a avaliação de necessidades e recursos; (ii) a definição dos objetivos e dos resultados desejados; (iii) a seleção das práticas baseadas em evidências para as políticas; (iv) os ajustes necessários; (v) as avaliações de implementação e de processos e (vi) a sustentabilidade.

Para Wandersman (2014) os processos de avaliação devem ser vistos sob uma perspectiva de aperfeiçoamento contínuo das organizações públicas, nas quais as informações são aplicadas para a auto avaliação dos policymakers e para a implementação das políticas públicas com qualidade. Esse autor sugere que a capacidade de planejar de modo sistemático é função da capacidade de usar o conhecimento e as ferramentas de avaliação que, em última instância, são associadas às capacidades de avaliação dos gestores de políticas públicas.

O Quadro 1 apresenta uma síntese com as principais contribuições dos autores selecionados, as relações observadas entre as variáveis analisadas e as conclusões obtidas.

QUADRO 1
RELAÇÕES ENTRE A INSTITUCIONALIDADE DAS POLÍTICAS PÚBLICAS E PROCESSOS DE AVALIAÇÃO

4. CONCLUSÃO

À guisa de conclusão, cabe recuperar as duas questões que guiaram a realização deste estudo, a saber: (i) quais variáveis podem ser utilizadas para evidenciar a institucionalidade de uma política pública? (ii) as políticas públicas mais institucionalizadas reúnem maiores condições de terem seus resultados avaliados?

No que tange à primeira questão, vários dos autores estudados identificaram variáveis capazes de indicar o grau de institucionalidade das políticas públicas, destacando associações que, embora remanesçam fluidas, podem ser utilizadas em estudos futuros sobre o tema. Nestes termos, os estudos de Howlett (2014), Cousins et al. (2014), Hanberger (2011), Anderson (2008), Mark et al. (2000), Meny e Thoenig (1992), Ingraham (1987) e Weiss (1999, 1988b, 1979) revelaram que as políticas públicas cujos desenhos consideram processos voltados à gestão do conhecimento, à aprendizagem, ao aperfeiçoamento das estruturas e dos processos organizacionais possuem maior institucionalidade.

Para autores como Thelen (2010), Streeck e Thelen (2005), Evans (1993, 2008), Pierson (2000), Weiss (1999), Meny e Thoenig (1992) e Skocpol (1985) as políticas públicas cujas regras e fatores organizacionais influenciam a cultura política, a atuação da burocracia e as capacidades de atuação estatal, dentre as quais a capacidade de avaliação de resultados, podem ser consideradas mais institucionalizadas do que aquelas políticas nas quais estes atributos não são identificados. Vale ressaltar que Weiss (1999) agrega a estas associações a formalidade política, o elevado nível de debate entre as organizações participantes da formulação e da implementação da política e a descentralização nos aspectos decisórios e de execução, enfatizando sua relevância para a definição do caráter institucionalizado das políticas públicas.

O segundo aspecto que guiou a realização deste estudo diz respeito às associações entre a institucionalidade das políticas públicas e as avaliações de resultados, ou seja, se e como a institucionalidade de uma política pública favorece ou não a avaliação de seus resultados. Nesse sentido, os estudos analisados identificaram variáveis que, quando presentes, indicam que a institucionalidade da política pública pode estar positiva ou negativamente associada aos processos de avaliação de resultados. Assim, as associações positivas entre políticas públicas com elevado grau de institucionalidade e a condução de avaliações de resultados foram agrupadas, para efeito didático, em três conjuntos de variáveis: (i) variáveis que refletem as características do processo decisório e do contexto de implementação da política; (ii) variáveis identificáveis no desenho da política; e (iii) variáveis analisáveis com fundamento no comportamento dos policymakers.

O primeiro conjunto de variáveis reflete as características do processo decisório e do contexto de implementação da política, evocando o modo como os objetivos da política se vinculam aos valores que procuram construir. Nesse conjunto, são relevantes as variáveis que expressam os vínculos entre os objetivos da política, a clareza de seus propósitos e a possibilidade de fazer ajustes na política, com base nas lições aprendidas (Hanberger, 2011; Sabatier & Weible, 2007), assim como as variáveis relacionadas à implementação descentralizada de políticas e à adoção de processos decisórios democráticos e participativos (Trosa, 2001; Weiss, 1999). Os contextos político-institucionais que contemplam valores como a visibilidade, a transparência, a prestação de contas aos cidadãos e a possibilidade de correção da política avaliada também foram identificados como favoráveis às avaliações de resultados (Faria, 2012; Mark et al., 2000; Meny & Thoenig, 1992; Trosa, 2001). Estes contextos valorizam o apoio e a forma como as pessoas, de modo individual ou coletivo, conferem sentido às políticas implementadas para resolver as necessidades humanas (Meny & Thoenig, 1992; Trosa, 2001).

O segundo conjunto de variáveis valoriza o desenho da política e o compromisso organizacional com a aprendizagem, com o aperfeiçoamento político-institucional, com a adaptação e com a possibilidade de reformulação e de revisão da política, o que eleva as chances da política ter seus resultados avaliados (Cousins & Leithwood, 1986; Cousins et al., 2014; Hanberger, 2011; March, 2009; Mark & Henry, 2004; Meny & Thoenig, 1992; Pressman & Wildavsky, 1984). Segundo os estudos de March (2009), Anderson (2008), Ostrom (2007), Streeck e Thelen (2005) e Trosa (2001), quando o desenho da política abrange a adoção de regras claras e de sistemas de informações, bem como de normas e estratégias capazes de influenciar a cultura política, a burocracia e as capacidades estatais, também se elevam as chances de avaliação dos resultados das políticas.

O terceiro conjunto é composto pelas variáveis cuja análise se fundamenta principalmente no comportamento dos policymakers. Estas análises se fundamentam no reconhecimento dos gestores da política sobre o mérito e o valor da avaliação de resultados para a melhoria organizacional e programática, para a supervisão e o desenvolvimento do conhecimento sobre a política. Ou seja, quando a preocupação com o social betterment ou a oportunidade de redesenhar a política é manifestada e assumida pelos policymakers, no sentido de adequá-la aos objetivos propostos, numa perspectiva de obtenção de melhores resultados, se elevam as chances de avaliação de resultados das políticas públicas (Hanberger, 2011; Mark et al., 2000; Mark & Henry, 2004; Meny & Thoenig, 1992; Trosa, 2001; Weiss, 1988a).

As associações negativamente estabelecidas entre a institucionalidade das políticas públicas e a condução de avaliações de resultados foram explicitadas por fatores como o grau de informalidade e as resistências culturais. O alto grau de informalidade e o baixo nível de debate no processo de formulação e de implementação de uma política pública tendem a não ceder espaço para o conhecimento oferecido pelas ações de avaliação de resultados, dado que nestes contextos cada ator envolvido no processo tende a agir com o nível de conhecimento que possui, sem valorizar o delineamento oferecido pelas ações e sistemas de avaliação (Weiss, 1999). As resistências culturais e as mudanças frequentes no ambiente organizacional, que alterem os padrões de pensamento, sentimento e comportamento dos policymakers foram negativamente associadas aos processos de avaliação de resultados, face à instabilidade que geram nos processos decisórios e na trajetória de implementação das políticas (Hofstede, 2003; McSweeney, 2009; Meny & Thoenig, 1992; Ostrom, 2007; Scott, 2004; Trompenaars, 1994).

Em síntese, o levantamento realizado sobre a avaliação de resultados de políticas públicas identificou perspectivas teóricas que são críticas aos modelos analíticos fundamentados sobre a existência de uma forma única e racional de explicar os problemas e a tomada de decisões em processos de formulação de políticas públicas. Desse modo, a compreensão da trajetória assumida pelas políticas públicas poderá se beneficiar de abordagens fundamentadas em modelos explicativos que se guiem pela corrente neoinstitucionalista. Neste aspecto, cabe resgatar que, para os objetivos deste ensaio, o termo institucionalidade deriva de um conceito ampliado de instituições, como o proposto por North (1991) e por Ostrom (2007), que abrange muitos tipos de entidades, e inclui tanto as organizações quanto as regras usadas para estruturar modelos de interação com e nas organizações.

Nestes termos, fica a recomendação de que as análises sobre o tema da avaliação de resultados ponderem as influências exercidas por variáveis relacionadas às trajetórias institucionais, aos atores e aos contextos organizacionais tanto no momento da formulação de políticas públicas quanto durante a fase de sua implementação, por compreenderem o conjunto de situações nas quais são tomadas decisões relativas à avaliação dos resultados.

As consultas aos trabalhos realizados sobre o tema da avaliação de resultados revelaram que a institucionalidade das políticas merece se manter como um objeto de atenção na condução de estudos sobre avaliação em políticas públicas. Ademais, o estudo evidenciou que o debate sobre a avaliação de políticas públicas poderá ser fortalecido por estratégias analíticas e pela condução de estudos empíricos que considerem igualmente as decisões adotadas pelos formuladores das políticas, tanto quanto as regras, as normas e as estratégias que definem a cena político-institucional na qual são implementadas as políticas públicas.

REFERENCES

• Anderson, J. (2008). Public Policymaking: an Introduction (7 ed.). Boston, Massachusetts: Houghton-Mifflin.
• Batista, M., & Domingos, A. (2017) Mais que boas intenções: técnicas quantitativas e qualitativas na avaliação de impacto de políticas públicas. Revista Brasileira de Ciências Sociais, 32(94), 1-24. Retrieved from http://dx.doi.org/10.17666/329414/2017
  » http://dx.doi.org/10.17666/329414/2017
• Bourgeois, I., & Cousins, J. B. (2013). Understanding dimensions of organizational evaluation capacity. American Journal of Evaluation, 34(3), 299-319.
• Bovaird, T. (2014). Attributing outcomes to social policy interventions - ‘gold standard’ or ‘fool’s god’ in public policy and management?. Social Policy and Administration, 48(1), 1-23.
• Cousins, J. B., & Leithwood, K. A. (1986). Current empirical research on evaluation utilization. Review of Educational Research, 56(3), 331-364.
• Cousins, J. B., Goh, S. C., Elliot, C. J., & Bourgeois, I. (2014). Framing the capacity to do and use evaluation. Special issue: organizational capacity to do and use evaluation. New Directions for Evaluation, 141, 7-23.
• Crumpton, C. D., Medeiros, J. J., Ferreira, V. da R. S., Sousa, M. de M., & Najberg, E. (2016). Evaluation of public policies in Brazil and the United States: a research analysis in the last 10 years. Revista de Administração Pública, 50(6), 981-1001.
• Cunill-Grau, N., & Ospina, S. M. (2012). Performance measurement and evaluation systems: institutionalizing accountability for governmental results in Latin America. New Directions for Evaluation, 134, 77-91.
• Evans, P. (1993). O Estado como problema e solução. Lua Nova: Revista de Cultura e Política, 28-29, 107-157.
• Evans, P. (2008). In search of the 21st century developmental state Sussex, UK: Centre for Global Political Economy at the University of Sussex. (Working Paper Nº 4, p. 22). Retrieved from https://www.sussex.ac.uk/webteam/gateway/file.php?name=cgpe-wp04-peter-evans.pdf&site=359
  » https://www.sussex.ac.uk/webteam/gateway/file.php?name=cgpe-wp04-peter-evans.pdf&site=359
• Farrell, H., & Héritier, A. (2004). Interorganizational negociation and interorganizational power in shared decision making. Early agreements under codecision and their impact on the European parliament and council. Comparative Political Studies, 37(10), 1184-1212.
• Faria, C. A. P. (2012). Implementação de Políticas Públicas Teoria e Prática Belo Horizonte, MG: Editora PUC de Minas Gerais.
• Hall, R. H. (2004). Ambientes organizacionais e relacionamentos interorganizacionais. In: Hall, R. H. Organizações: estruturas, processos e resultados (8 ed., pp. 191-223). São Paulo, SP: Pearson Prentice Hall.
• Hanberger, A. (2011). The real functions of evaluation and response systems. Evaluation, 17(4), 327-349.
• Hansen, H., Klejnstrup, N. R. & Andersen, O. W. (2013). A comparison of model-based and design-based impact evaluations in developing countries. American Journal of Evaluation, 34(3), 320-338.
• Hill, M., & Hupe, P. (2005). Implementing public policy (2 ed.). Thousand Oaks, California: Sage Publications Inc.
• Hofstede, G. (2003). Culturas e Organizações Compreender a nossa programação mental. Lisboa, Portugal: Edições Sílabo.
• Howlett, M. (2014). From the ‘old’ and the ‘new’ policy design: design thinking beyond markets and collaborative governance. Policy Sci, 47(3), 187-207.
• Ingraham, P. (1987). Toward more systematic consideration of policy design. Policy Studies Journal, 15(4), 611-628.
• Ingram, H., Schneider, A. L., & Deleon, P. (2007). Social construction and policy design. In: P. A. Sabatier(Ed.), Theories of the Policy Process (7 ed., pp. 93-128). Boulder, Colorado: Westview Press.
• Kuhlmann, S., & Shapira, P. (2009). How is innovation influenced by science and technology policy governance? Transatlantic comparisons. In J. Hage & J. Meeus(Eds.), Innovation, Science, and Institutional Change: A Research Handbook. (2 ed., pp. 232-253). New York, NY: Oxford University Press.
• Labin, S. N. (2014). Developing common measures in evaluation capacity building: an iterative science and practice process. American Journal of Evaluation, 35(1), 107-115.
• Lane, J. E. (2014). Institutionality: “institution” and “institutions matter”. Open Journal of Polítical Science, 4(1), 23-30.
• March, J. G. (2009). Como as decisões realmente acontecem: princípios de tomada de decisões São Paulo, SP: Editora Leopardo.
• Mahoney, J., & Thelen, K. (2010). Explaining institutional change. Ambiguity, agency and power Cambridge, UK: Cambridge University Press.
• Mark, M. M., & Henry, G. T. (2004). The mechanisms and outcomes of evaluation influence. Evaluation, 10(1), 35-57.
• Mark, M. M.; Henry, G. T. & Julnes, G. (2000). Evaluation: an integrated framework for understanding, guiding, and improving policies and programs San Francisco, CA: Jossey-Bass.
• Mastenbroek, E., Voorst, S. V., & Meuwese, A. (2015). Closing the regulatory cycle? A meta evaluation of ex-post legislative evaluations by the european commision. Journal of European Public Policy, 23(6), 1329-1348. Retrieved fromhttp://www.tandfonline.com/doi/abs/10.1080/13501 763.2015.1076874?journalCode=rjpp20
  » http://www.tandfonline.com/doi/abs/10.1080/13501 763.2015.1076874?journalCode=rjpp20
• Mc Sweeney, B. (2002). Hofstede’s model of national cultural differences and their consequences. Human Relations, 55(1), 89-118.
• Mc Sweeney, B. (2009). Dynamic diversity: variety and variation within countries. Organization Studies, 30(9), 933-957.
• Meny, I., & Thoenig, J. C. (1992). Las políticas públicas, Barcelona, Espanha: Editorial Ariel.
• North, D. C. (1991). Institutions. The Journal of Economic Perspectives, l(5), 97-112.
• Oliver, K., Innvar, S., Lorenc, T., Woodman, J., & Thomas, J. (2014). A systematic review of barriers to and facilitators of the use of evidence by policymakers. Health Services Research, 14(2). Retrieved fromhttp://bmchealthservres.biomedcentral.com/articles/10.1186/1472-6963-14-2
  » http://bmchealthservres.biomedcentral.com/articles/10.1186/1472-6963-14-2
• Oliver, K., Lorenc, T. E., & Tinkler, J. (2019). Evaluating unintended consequences: new insights into solving practical, ethical and political challenges of evaluation. Evaluation, 1-15. Retrieved fromhttps://doi.org/10.1177/1356389019850847
  » https://doi.org/10.1177/1356389019850847
• Oliveira, L. R., & Passador, C. S. (2019) Theoretical essay on public policy evaluations. Cadernos EBAPE.BR, 17(2), 324-337.
• Oliveira, V., & Pinho, P. (2011). Bridging the gap between planning evaluation and programme evaluation: the contribution of the PPR methodology. Evaluation, 17(3), 293-307.
• Ostrom, E. (2007). Institutional rational choice: an assessment of the institutional analysis and development framework. In: P. A. Sabatier (Ed.), Theories of the policy process, (7 ed., pp. 21-64). Boulder, Colorado: Westview Press .
• Patton, M. Q. (1988). Reports on topic areas. The evaluator’s responsibility for utilization. Evaluation Practice, 9(2), 5-24.
• Patton, M. Q. (1999). Organizational development and evaluation. The Canadian Journal of Program Evaluation, Special Issue, 93-113.
• Pierson, P. (2000). Increasing returns, path dependence and the study of politics. American Political Science Review, 94(2), 251-267.
• Pressman, J. L. & Wildavsky, A. (1984). Implementation (3 ed.). Berkeley: University of California Press.
• Ramos, M. P. & Schabbach, L. M. (2012). O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, 46(5), 1271-294.
• Richardson, L. (2013). Putting the research boot on the policymakers’s foot: can participatory approaches change the relationship between policymakers and evaluation? Social Policy and Administration, 47(4), 483-500.
• Sabatier, P. A., & Weible, C. (2007). The advocacy coalition framework: innovations and clarifications. In: P. A. Sabatier (Ed.), Theories of the policy process (7 ed., pp. 189-220). Boulder, Colorado: Westview Press .
• Scott, W. R. (1998). Organizations. rational, natural, and open systems (4 ed.). New Jersey, USA: Prentice-Hall Inc.
• Scott, W. R. (2004). Institutional theory: contributing to a theoretical research program. In: Smith, K. G.; Hitt, M. A. (eds.). Great minds in management: the process of theory development Oxford UK: Oxford University Press.
• Serapioni, M. (2016). Conceitos e métodos para a avaliação de programas sociais e políticas públicas. Sociologia: Revista da Faculdade de Letras da Universidade do Porto, 31, 59-80. Retrieved from http://www.scielo.mec.pt/scielo.php?script=sci_arttext&pid=S0872-34192016000100004&lng=pt&nrm=iso
  » http://www.scielo.mec.pt/scielo.php?script=sci_arttext&pid=S0872-34192016000100004&lng=pt&nrm=iso
• Skocpol, T. (1985). Bringing the state back in: strategies of analysis in current research. In P. B. Evans; D. Rueschemeyer, & T. Skocpol (Eds.). Bringing the state back in (pp. 3-37). Cambridge, UK: Cambridge University Press .
• Streeck, W., & Thelen, K. (2005). Beyond continuity: institucional change and advanced political economies New York, NY: Oxford University Press .
• Suarez-Balcazar, Y., & Taylor-Ritzler, T. (2013). Moving from science to practice in evaluation capacity building. American Journal of Evaluation, 35(1), 95-99.
• Trompenaars, F. (1994). Nas ondas da Cultura Como entender a diversidade cultural nos negócios São Paulo, SP: Educator.
• Trosa, S. (2001). Gestão pública por resultados Quando o estado se compromete Rio de Janeiro, RJ: Revan; Brasília, DF: Enap.
• Vedung, E. (1997). Public policy and program evaluation New Bruswick, NJ: Transaction Publishers.
• Wandersman, A. (2014). Getting to outcomes: an evalutation capacity building example of rationale, science, and practice. American Journal of Evaluation, 35(1), 100-106.
• Weiss, C. H. (1979). The many meanings of research utilization. Public Administration Review, 5(3), 426-431.
• Weiss, C. H. (1988a). If program decisions hinged only on information: a response to Patton. American Journal of Evaluation, 9(3), 15-28.
• Weiss, C. H. (1988b). Reports on topic areas. Evaluations for decisions: is anybody there? Does anybody care? American Journal of Evaluation, 9(1), 5-19.
• Weiss, C. H. (1993). Where politics and evaluation research meets. Evaluation Practice, 14(1), 93-106.
• Weiss, C. H. (1998). Have we learned anything new about the use of evaluation? American Journal of Evaluation, 19(1), 21-33.
• Weiss, C. H. (1999). Speeches and addresses. The interface between evaluation and public policy. Evaluation, 5(4), 468-486.
• Weiss, C. H. (2010). Perspectivas de implementação: status e reconsideração. In B. G. Peters, J. Pierre (Orgs.), Administração Pública (Coletânea, pp. 209-228). São Paulo, SP: Editora UNESP; Brasília, DF: Enap.
• Winter, S. (1990). Integrating implementation research. In D. J. Palumbo, & D. Calista (Orgs.), Implementation and the policy process: opening up the black box(6 ed., pp. 19-50). New York, NY: Greenwood Press.

• [Versão traduzida]

Datas de Publicação

• Publicação nesta coleção
  26 Jun 2020
• Data do Fascículo
  May-Jun 2020

Histórico

• Recebido
  22 Jul 2019
• Aceito
  26 Set 2019