Utilização do monitoramento da Política de Prevenção à Criminalidade de Minas Gerais

Utilización del monitoreo de la Política de Prevención a la Criminalidad de Minas Gerais

Resumo

As sistemáticas de monitoramento de políticas públicas ganharam relevância no âmbito governamental a partir das reformas gerenciais da administração pública. A despeito disso, a utilização das informações pelos gestores persiste como desafio iminente. O objetivo do artigo é identificar e categorizar, à luz da literatura de referência, o uso dado às informações geradas pelas estratégias de monitoramento da Política de Prevenção Social à Criminalidade (PPSC) do Estado de Minas Gerais. São utilizados dados qualitativos coletados em pesquisa realizada com atores que atuam em diferentes áreas de execução da política. Constatou-se que os gestores fazem uso direto e político das informações, de tipo instrumental, processual, persuasiva e imposta. Apesar disso, observou-se que a PPSC não dispõe de um sistema de monitoramento estruturado. Assim, a produção de registros e dados fica concentrada nas unidades locais de implementação dos programas que compõem a política. Notou-se ainda que a publicização destes dados é insuficiente e que as atividades de monitoramento são percebidas como instrumentos de controle e fiscalização.

Palavras-chave:
monitoramento e avaliação; usos do monitoramento; política de prevenção social à criminalidade; Estado de Minas Gerais

Resumen

Las sistemáticas de monitoreo de políticas públicas adquirieron relevancia en el ámbito gubernamental a partir de las reformas gerenciales de la administración pública. Sin embargo, la utilización de la información por los gestores persiste como un desafío inminente. El artículo identifica y categoriza, a la luz de la literatura de referencia, el uso de las informaciones generadas por las estrategias de monitoreo de la Política de Prevención Social a la Criminalidad (PPSC) del estado de Minas Gerais. Se utilizan dados cualitativos de investigación realizada con actores involucrados en la gestión de la política. Se notó que los gestores hacen uso directo y político de la información, en la forma instrumental, procesual, persuasiva e impuesta. Sin embargo, la política no tiene un sistema de monitoreo estructurado, la producción de información se concentra en las unidades locales de implementación de los programas que componen la política, la divulgación de estos datos es insuficiente y las actividades de monitoreo se ven como instrumentos de control y fiscalización.

Palabras clave:
monitoreo y evaluación; usos del monitoreo; política de prevención social a la criminalidad; Minas Gerais

Abstract

Methods of public policy monitoring have gained relevance with the emergence of managerial reforms of the public administration. However, the use of information by managers persists as an imminent challenge. The objective of this study is to identify and categorize, based on the literature, the use of the information collected from the monitoring strategies adopted in the Crime Prevention Policy in the Brazilian state of Minas Gerais, based on qualitative research. The study observed that managers make direct and political use of information in an instrumental, procedural, persuasive, and imposed form. However, the policy does not have a structured monitoring system. The production of information is concentrated in the local units of implementation, the publicity of the data is insufficient, and the activities are seen as instruments of control and inspection.

Keywords:
monitoring and evaluation; uses of monitoring; social crime prevention policy; Minas Gerais

1. INTRODUÇÃO

A Política de Prevenção Social à Criminalidade (PPSC) do Estado de Minas Gerais teve início em 2003, ainda sob o formato de projeto experimental. Em 15 anos, essa política se institucionalizou na agenda estatal, ganhando novos desenhos e orientações. Desde suas fases iniciais, a PPSC dispõe de instrumentos de monitoramento, mesmo que improvisados ou pouco sistematizados. Isso pode estar associado ao contexto governamental de Minas Gerais no período, orientado por modelos de gestão para resultados, que deram relevo aos sistemas de monitoramento e avaliação (SM&A) de políticas públicas. Portanto, discutir os usos do monitoramento como ferramenta de gestão se mostra de extrema relevância.

Os desafios para a efetiva implantação de um SM&A são inúmeros, mas, além disso, a utilização dos dados e das informações geradas pelo instrumento, quando existente, é ainda mais desafiadora. No âmbito internacional, os estudos sobre o uso dos resultados das avaliações são antigos. A inquietação com o tema emergiu quando avaliadores perceberam que os resultados produzidos pelas avaliações eram desconsiderados pelos tomadores de decisão.

No Brasil, ainda que monitoramento e avaliação (M&A) de políticas públicas, após a reforma administrativa da década de 1990, tenham ganhado espaço, os SM&A são severamente limitados, quando existentes, evidenciando falhas na consolidação de uma cultura organizacional voltada a esses processos. Além disso, pouco se tem estudado sobre a efetividade de tais ferramentas. Nota-se, a título de exemplo, que a literatura disponível em português sobre a utilização das informações geradas pelo M&A ainda se mostra insuficiente.

No caso de políticas de segurança pública, estruturar um sistema de monitoramento é ainda mais complexo. Fatores institucionais, metodológicos e técnicos, como a falta de integração entre as informações produzidas, a forma tradicional de avaliar a política, a insuficiência de indicadores de criminalidade que mensurem a relação entre a sensação de insegurança e a criminalidade real, a baixa confiabilidade de alguns dados e a fragilidade da cultura institucional para a utilização das informações tornam a produção de dados em segurança pública uma tarefa difícil, o que não é diferente para a PPSC de Minas Gerais.

A PPSC é composta por quatro programas: a) Fica Vivo! (FV!); b) Programa Mediação de Conflitos (PMC); c) Central de Acompanhamento de Alternativas Penais (Ceapa); e d) Inclusão Social dos Egressos do Sistema Prisional (PrEsp). Os objetivos deles convergem e contribuem com “a prevenção e redução da violência e criminalidade em territórios e grupos mais vulneráveis a esses fenômenos e com o aumento da segurança no Estado” (Estado de Minas Gerais, 2017, p. 7). Diante de uma política de segurança pública de operacionalização complexa, que se esforça em atacar problemas multidimensionais, a relevância da utilização dos dados e das informações advindas do monitoramento, como instrumento de gestão, fica ainda mais evidente. O tema do estudo se situa nessa problemática e tem como propósito analisar e categorizar o uso das informações geradas pelo monitoramento da PPSC.

A metodologia da pesquisa contou com um estudo de campo com abordagem qualitativa e dados gerados por meio de entrevistas semiestruturadas realizadas com técnicos e gestores envolvidos na política. O modelo analítico que orientou a coleta e análise de dados se compõe de quatro dimensões: a) a primeira se refere ao processo de construção do monitoramento da PPSC; b) a segunda capta a avaliação dos atores sobre o monitoramento da política; c) a terceira aborda os usos dos dados e das informações; e d) a quarta dimensão detecta os principais desafios envolvidos no monitoramento da política e na utilização do que ele gera. Foram solicitadas, ainda, sugestões para aprimorar e potencializar a utilização do instrumento.

Este artigo tem três seções: a) discussão teórica e conceitual sobre monitoramento e usos da avaliação de programas públicos; b) breve apresentação da PPSC e seus projetos; e c) apresentação e análise dos resultados.

2. O MONITORAMENTO DE POLÍTICAS PÚBLICAS: CONCEITOS, TIPOS, SISTEMAS E DESAFIOS

Ramos e Schabbach (2012) apresentam diversos conceitos de avaliação de programas, sinalizando a polissemia do campo. Em geral, há certo consenso de que se trata de um processo de formação de juízo de valor, com cunho retrospectivo, prospectivo e sistemático, que pode referir-se a inúmeros aspectos da política pública, de acordo com o propósito da avaliação (Boullosa & Araújo, 2009; Ramos & Schabbach, 2012; Mokate, 2006).

Em um plano mais normativo, a literatura afirma que as avaliações devem contribuir para o aperfeiçoamento dos programas públicos, “aprimorar o processo de tomada de decisão, vislumbrar a alocação apropriada de recursos e promover a responsabilização por decisões e ações (accountability) dos governantes” (Ramos & Schabbach, 2012, p. 1273).

O monitoramento também tem inúmeras conceituações. Pode ser definido como um processo estratégico do governo (Cardoso, 2014); como uma atividade gerencial, de acompanhamento de atividades aspirando ao alcance de metas (Garcia, 2001); como avaliação contínua de processos (Rua, 2004). Neste artigo, considera-se o monitoramento uma atividade de acompanhamento de processos-chave de um programa, que permite identificar tempestivamente anormalidades durante a execução (Jannuzzi, 2016). Nessa linha de compreensão, Boullosa e Araújo (2009) complementam que o monitoramento é um acompanhamento sistemático da execução e do desempenho de um programa, tratando-se de um processo rotineiro de observações, registros e análises.

A avaliação e o monitoramento são atividades complementares. Jannuzzi (2014, p. 32) reforça essa ideia afirmando que M&A são “processos analíticos organicamente articulados, que se complementam no tempo”. Ramos e Schabbach (2012, p. 1280), acrescentam que “a avaliação necessita das informações provenientes do monitoramento para realizar o julgamento que lhe cabe a respeito da eficiência, eficácia e efetividade dos programas; ambos os estudos são, portanto, complementares”. Por fim, tais instrumentos são, portanto, essenciais para as políticas públicas, pois fornecem informações que subsidiam a tomada de decisão e viabilizam a execução com transparência.

Não existe um tipo único ou melhor de monitoramento - o ideal são modelos sólidos e adequados a realidades diversas: “é fundamental que haja um esforço das organizações para criar seus próprios modelos de monitoramento, mesmo que adaptando modelos já existentes ou exigidos, levando-se em conta as necessidades locais e organizacionais” (Boullosa & Araújo, 2009, p. 185). Jannuzzi (2016) classifica o monitoramento como: a) gerencial; b) analítico; ou c) estratégico.

O monitoramento gerencial trata do acompanhamento de processos, produtos ou resultados, conforme o destaque dado a determinados indicadores do programa. Quando se trata dos processos, os técnicos e gestores da ponta são os envolvidos na análise, enquanto a coordenação central acompanha os resultados e a coordenação setorial se envolve com os produtos (Jannuzzi, 2016).

O monitoramento analítico é definido como uma análise sistemática de informações “sobre fluxos de desembolso financeiros, de realização de atividades-meio, de entrega de produtos e de inferência de efeitos dos programas nos seus públicos-alvo” (Jannuzzi, 2011b, p. 41). Quando o desenho da intervenção é estabelecido adequadamente, esse tipo de monitoramento é uma “quase avaliação”. Essa característica advém da possibilidade de supor relações de causa e efeito entre as atividades e os produtos, entre os produtos e os resultados ou entre os resultados e os possíveis impactos do programa.

O monitoramento gerencial e o analítico se diferenciam pelo foco da abordagem de cada um. O primeiro olha a gestão e suas subcategorias (processos, produtos e resultados), para compreender a constância e as anomalias na cadeia insumos-resultados. O analítico enfoca a avaliação, averiguando se os resultados, produtos e processos estão alcançando a qualificação almejada, tendo em vista os recursos disponíveis (Jannuzzi, 2016).

Há, ainda, o monitoramento estratégico, caracterizado pela junção do monitoramento gerencial com o monitoramento analítico. Pode ser aplicado a planos de governos, políticas prioritárias ou de caráter intersetorial. Por isso, necessita de instrumentos específicos e um melhor sistema de informação, para a coleta de dados tempestiva e a mediação abrangente de atividades, produtos, entregas e resultados (Jannuzzi, 2016).

Os mecanismos de M&A no Brasil ainda são muito defasados quando comparados aos instrumentos de outros países nos quais a cultura de M&A já foi consolidada (Jannuzzi, Resende, Silva, & Sousa, 2009). As informações existem, mas não são sintetizadas e compartilhadas de modo inteligente. Para superar esse “paradoxo da escassez na abundância”, é preciso aprimorar os processos de gestão da informação das políticas públicas (Jannuzzi, 2011a). Nesse sentido, as políticas públicas demandam a estruturação de SM&A de acordo com a especificidade de seu desenho e modelo de gestão.

Os SM&A devem responder sobre a alocação de recursos financeiros e humanos; sobre os processos intermediários de contratação de serviços e adesão de agentes envolvidos e sobre a entrega dos produtos. Para isso, devem ter o suporte de quatro elementos: a) o Mapa de Processos e Resultados (MaPR), instrumento que especifica a teoria de intervenção de um programa e aponta inúmeras informações para monitorar; b) painéis de indicadores dos processos-chave, organizado de acordo com o nível de relevância das informações; c) definição dos indicadores de monitoramento que sinalizem a “situação geral” do programa; e d) fontes de informações para a construção dos indicadores, em sites oficiais de órgãos de estatística e organismos internacionais, por exemplo (Jannuzzi, 2016).

Todavia, para o pleno estabelecimento de uma cultura de M&A no setor público, vale ressaltar alguns desafios. Mokate (2000) afirma que, embora a avaliação seja fundamental no processo de aprimoramento de políticas públicas, ainda é percebida como uma ameaça pelos gestores de políticas públicas, sobretudo quando o processo de avaliação é associado a mecanismos de controle e auditoria. Dulci (2012) discute a importância de “criar capacidade de avaliação”, com uma equipe interessada e competente, atenta aos aspectos técnicos, sociais e metodológicos, o que requer investimento financeiro, político e intelectual. Outro desafio se relaciona à utilização e à comunicação dos resultados das avaliações, principalmente para os processos de decisão (tema de interesse deste artigo).

No caso das políticas de prevenção à criminalidade, há outros desafios que envolvem a constituição de uma cultura de M&A. Cano e Rojido (2016) evidenciam um panorama crítico sobre o uso das ferramentas para o aperfeiçoamento dessas políticas. Dos programas de prevenção de homicídios na América Latina, menos de 20% tiveram seus impactos avaliados. As razões para esse cenário envolvem, além da ausência de planejamento e das limitações técnicas, certas particularidades afetas à prevenção da criminalidade: a natureza complexa da questão da prevenção; a baixa confiabilidade dos dados; o deslocamento da violência nos territórios; a inexistência de objetivos claros; as avaliações com uso exclusivo de dados internos; as variações das taxas de homicídios; as dificuldades na construção de grupos de controle; e as alterações nos resultados de curto, médio e longo prazo. A baixa taxa de programas avaliados também pode estar associada à insuficiência de estratégias de monitoramento: a ausência de dados sistemáticos impede a realização de avaliações com potencial de utilização.

Na esfera nacional, a produção de estatística criminal é insuficiente e não vai além de indicadores de distribuição de crimes pelas cidades (Silva, 2017). Além disso, a inexistência de informações que mensurem crimes em nível nacional faz com que seja preciso utilizar as estatísticas de registro de óbitos do Ministério da Saúde, por exemplo, ou de outras instituições.

Essa ausência de dados provenientes das instituições criminais em escala nacional demonstra que há pouca preocupação técnica em medir a criminalidade para fins gerenciais ou operacionais. Os efeitos dos registros realizados atualmente são, portanto, meramente judiciais e administrativos (Silva, 2017). Ademais, a falta de indicadores de criminalidade que mensurem a relação entre a sensação de insegurança e a criminalidade real reforça a ocorrência de decisões pautadas pela pressão midiática (Dias, 2008).

Silva (2017) enfatiza que, apesar do desenvolvimento de um sistema nacional de estatística criminal não ser algo fácil, sua construção seria importante para que as informações produzidas fossem abrangentes e confiáveis. Desse modo, os registros passariam a ser regulares e ricos em detalhes úteis para identificar padrões e regularidades (tipo de crime, lugar, características, crime cometido por quem e contra quem), o que é fundamental para a elaboração de estratégias de controle da criminalidade.

2.1 A utilização dos resultados das avaliações: conceitos e tipologia

Assumindo a percepção da avaliação como atividade complementar e organicamente articulada ao monitoramento, a utilização dos resultados das avaliações será tratada de modo análogo aos possíveis usos das informações geradas pelo monitoramento de uma política pública. Tal relação também se justifica pelo fato da literatura brasileira e internacional não retratar os usos do monitoramento de maneira específica.

Segundo Serpa (2010), apesar do tema ser pouco abordado no Brasil, a utilização dos resultados das avaliações tem sido estudada internacionalmente desde os anos 1970. Foi nessa época que os avaliadores começaram a questionar o efetivo uso das avaliações no que tange à tomada de decisão e ao aprimoramento das políticas. Corroborando o entendimento da autora, Bechelaine (2013) e Faria (2005) percebem que o efeito feedback das avaliações é falho, já que os avaliadores são ingênuos ao acreditar que os resultados são automaticamente utilizados. Percebe-se que as condições para utilização de tais resultados não estão dadas e, muitas vezes, competem com outras propostas e fontes de informação no momento da tomada de decisão (Faria, 2005).

Entendem-se como resultados das avaliações quaisquer informações, interpretações, dados ou recomendações advindas de avaliações em execução ou já finalizadas (Cousins & Leithwood como citado em Bechelaine, 2013). Tratando do conceito de utilização, este foi expandido de forma a incluir “novas e intangíveis formas de influenciar indivíduos, programas e comunidades” (Serpa, 2010, p. 40). Assumiu-se, portanto, a perspectiva de que a utilização da avaliação seria a “aplicação objetivada dos processos, achados ou conhecimento para produzir um efeito” (Lawrenz, Gullickson, & Toal como citado em Serpa, 2010, p. 41). Este artigo parte de tal perspectiva mais abrangente.

Para além do conceito de utilização, Alkin e Coyle (como citado em Bechelaine, 2013) diferenciam os conceitos de não uso, mau uso e abuso. Os autores definem que o não uso seria o “engavetamento” dos relatórios de avaliação, ao passo que a má elaboração de tais relatórios e a interpretação equivocada dos resultados configuraria o mau uso. Já a manipulação dos resultados das avaliações para divulgação pode ser entendida como abuso. Ainda nesse sentido, a não utilização de resultados pode ser justificada caso a avaliação tenha sido malfeita.

A mensuração desses usos ocorre a partir de diferentes dimensões. Algumas delas causam pouca influência no que se refere ao programa ou à política e outras permitem mudanças profundas tanto na política quanto nos atores envolvidos (Bechelaine, 2013).

A primeira é a de uso instrumental, quando os resultados das avaliações se direcionam à tomada de decisão ou à solução de problemas do programa. Nesses casos, o avaliador deve conhecer bem o funcionamento do programa e as demais questões que o envolvem. A segunda dimensão é a de uso conceitual. A utilização nessa situação é limitada aos técnicos da política e, apesar de não ser possível a tomada de decisão a partir dos resultados das avaliações, permite introduzir novas ideias e gerar mudanças nas ações do programa. A terceira dimensão trata do uso simbólico ou político. Esse tipo de uso serve para que se possa justificar um processo de mudança no programa, já que os tomadores de decisão nessa situação já têm conhecimento acerca do que deve ser mudado. A avaliação é, portanto, utilizada como instrumento de persuasão (Bechelaine, 2013).

Na medida em que os estudos sobre avaliação e os usos de seus resultados foram ampliados, novas tipologias de utilização foram surgindo (Patton, 2008). Além das dimensões instrumental, conceitual e simbólica ou política, Weiss (1998) acrescenta o uso enlightenment (traduzido como “esclarecimento”). Para a autora, as avaliações podem influenciar outras instituições ou outros eventos além do escopo do programa em questão.

Ademais, Patton (2008) também contribui para a tipologia incluindo mais cinco usos. O uso processual ocorre quando os atores envolvidos na avaliação, com exceção dos avaliadores, apresentam mudanças comportamentais e cognitivas. Tais alterações se devem ao processo de aprendizagem de valores e raciocínio perante a convivência com os avaliadores. Assim, sobrepõe-se ao instrumental e conceitual, já que envolve melhor aproveitamento dos resultados das avaliações, aprimoramento das habilidades dos agentes envolvidos e melhor tomada de decisão, como consequência. O uso legitimativo ocorre quando os resultados de uma avaliação dão suporte ou justificam determinada tomada de decisão, colocada em prática antes mesmo da avaliação acontecer. No uso persuasivo o autor define que a utilização dos resultados é feita de modo seletivo, isto é, dá suporte a decisões políticas e orçamentárias. O uso imposto ocorre quando os agentes de maior autoridade exigem que os resultados sejam utilizados por aqueles de nível hierárquico inferior. Como último tipo acrescentado pelo autor, o uso mecânico tem por objetivo o cumprimento das exigências de uma avaliação, visto que sua realização está condicionada a aumentos orçamentários, por exemplo. A análise da utilização dos dados do monitoramento da PPSC será realizada à luz dessa tipologia.

3. A POLÍTICA DE PREVENÇÃO SOCIAL À CRIMINALIDADE DO ESTADO DE MINAS GERAIS

Com o objetivo de reverter as elevadas taxas de criminalidade e dar respostas mais efetivas ao quadro de insegurança instaurado, em 2003 o Governo do Estado de Minas Gerais criou a Secretaria de Estado de Defesa Social (SEDS) (Estado de Minas Gerais, 2009). Essa nova proposta se baseou no rompimento da visão de combate repressivo à criminalidade, ampliando o sentido de segurança pública com o arranjo “defesa social” (Oliveira, 2017). Nesse cenário, a concepção que norteava a implementação da PPSC, e que ainda vigora, é a de que o combate a violências e criminalidade se dá não somente, a partir de estratégias governamentais, mas também por meio da participação da sociedade civil. Logo, as intervenções sobre os conflitos, as violências e os processos de criminalização devem ocorrer de modo direto (Souza, 2016). Oliveira (2017, p. 95) enfatiza que, para o fortalecimento do processo de institucionalização da política, para além da ampliação da estrutura interna formal e da abrangência das unidades de prevenção à criminalidade (UPCs), é fundamental a “priorização de orçamento, vocalização da pasta, apoio do dirigente máximo e paridade com outras áreas da segurança pública”.

3.1 Programa Fica Vivo!

A criação do programa FV! nos anos 2000 se fundamentou no aumento expressivo de homicídios em Belo Horizonte nos anos 1990 e pelo entendimento de que formas alternativas de enfrentamento à violência deveriam ser experimentadas (Marques, 2015). Além disso, estudos mostravam que o crescimento do número de homicídios na capital estava concentrado em determinadas regiões, principalmente na periferia e nas favelas. Os envolvidos com a criminalidade eram, em sua maioria, negros e pardos, do sexo masculino e com idade entre 15 e 29 anos (Estado de Minas Gerais, 2009).

Nesse contexto, a princípio, o programa foi implementado como um projeto piloto em um aglomerado da cidade, entre agosto e dezembro de 2002. Uma avaliação realizada 6 meses após a implementação demonstrou uma redução de 47% dos homicídios na localidade (Decreto Estadual n. 43.295, 2003).

Segundo Miranda (2015), após o projeto piloto, o FV! foi institucionalizado por meio do Decreto Estadual n. 43.334 (2003). A proposta era, portanto, contribuir com a prevenção e a redução de homicídios dolosos de adolescentes e jovens moradores das áreas de abrangência dos Centros de Prevenção à Criminalidade (CPCs) de base local.

De acordo com Souza (2016), vale ressaltar que o programa é delimitado por duas variáveis, quais sejam: a) faixa etária; e b) territorialidade. No caso da faixa etária, o atendimento do FV! foca os jovens entre 12 e 24 anos. Já a territorialidade enfatiza a atuação do programa vinculada às áreas com alta concentração de homicídios dolosos com participação de jovens, tanto como vítimas quanto como autores.

Para a execução de sua metodologia, o FV! conta com a articulação de dois eixos de atuação: a) proteção social; e b) intervenção estratégica. O primeiro eixo inclui a análise da dinâmica social das violências e da criminalidade; oficinas de esporte, cultura e arte; atendimentos individuais; projetos e fóruns comunitários. O segundo consiste na articulação interinstitucional entre as polícias Militar e Civil, o Ministério Público, o Poder Judiciário, os órgãos municipais de segurança pública, a Secretaria de Estado de Segurança Pública (SESP) e a Secretaria de Estado de Administração Prisional (SEAP) (Estado de Minas Gerais, 2017).

3.2 Programa Mediação de Conflitos

No ano de 2005, o PMC foi inserido na PPSC mineira (Marques, 2015). Trata-se de um projeto que utiliza a resolução pacífica de conflitos para desenvolver meios de minimizar riscos sociais, reduzir desigualdades e enfrentar violências. Por meio do envolvimento de moradores, de referências comunitárias e de instituições parceiras, esse programa executa ações que priorizam o diálogo, a compreensão da realidade territorial e o envolvimento de diversos atores para solucionar os problemas das comunidades atendidas. A limitação no acesso a direitos, a violência e o baixo capital social são características dos territórios em que o PMC atua (Estado de Minas Gerais, 2017).

À vista disso, o PMC tem por objetivo geral “promover meios pacíficos de administração de conflitos em níveis interpessoais, comunitários e institucionais, que contribuam para minimizar, prevenir e/ou evitar que estes se desdobrem em situações de violências e criminalidade” (Estado de Minas Gerais, 2017, p. 31). As ações ocorrem via participação social e institucional, a fim de reduzir os homicídios advindos de violência contra a mulher, de conflitos entre vizinhos, de violência doméstica e familiar e da violação de direitos (Estado de Minas Gerais, 2017).

Para a organização metodológica do programa, quatro eixos de atuação foram pensados, quais sejam: a) Atendimento Individual; b) Atendimento Coletivo; c) Projetos Temáticos; e d) Projetos Institucionais (Estado de Minas Gerais, 2017).

3.3 Programa Central de Acompanhamento de Alternativas Penais

O programa Ceapa teve início no ano de 2002, conforme parâmetros estabelecidos pela Central Nacional de Apoio e Acompanhamento às Penas e Medidas Alternativas (Cenapa) do Ministério da Justiça (Estado de Minas Gerais, 2009). No entanto, a responsabilidade da execução do Ceapa era da Secretaria de Estado da Justiça e Direitos Humanos (SEJDH) e somente no ano de 2003, a partir da criação da SEDS, o programa passou a integrar a estrutura da Subsecretaria de Políticas de Prevenção Social à Criminalidade (Supec), por meio do Decreto Estadual n. 43.295 (2003) (Marques, 2015).

O objetivo geral do programa é “contribuir para o fortalecimento e consolidação das alternativas a prisão no Estado de Minas Gerais, pautando ações de responsabilização com liberdade” (Estado de Minas Gerais, 2017, p. 50). Destaca-se que tal objetivo se mostra pertinente tendo em vista o contexto de crescimento crescente da população carcerária no país.

A metodologia do Ceapa, de modo diferente dos programas FV! e PrEsp, não se baseia na atuação em eixos. Sua configuração segue um roteiro de protocolos, fluxos e procedimentos conforme o desdobramento das alternativas penais. Ou seja, primeiramente, a alternativa penal é aplicada pelo Poder Judiciário, em seguida há formação, capacitação e suporte à rede parceira e, então, o atendimento é finalizado e o indivíduo é encaminhado para o cumprimento, sendo sempre monitorado e auxiliado pelo programa (Souza, 2016).

As modalidades de alternativas penais desenvolvidas pelo programa são: a) Prestação de Serviços à Comunidade; b) Projetos Temáticos de Execução de Alternativas Penais (por tipo de delito cometido); c) Atendimentos Individuais ou Grupos Reflexivos de Responsabilização de homens processados e julgados no âmbito da Lei Maria da Penha; d) Projetos no Âmbito das Medidas; e e) Projetos e Práticas Restaurativas (Estado de Minas Gerais, 2017).

3.4 Programa de Inclusão Social de Egressos do Sistema Prisional

Fomentado pelo Ministério da Justiça, o antes denominado Programa de Reintegração Social teve início em 2002. Um ano mais tarde ele assumiu sua nomenclatura atual (Programa de Inclusão Social de Egressos do Sistema Prisional [PrEsp]) e passou a compor a PPSC (Estado de Minas Gerais, 2017).

Ainda que dispositivos legais internacionais e nacionais disponham da privação de liberdade, resultante de uma condenação devido a um ato criminoso, como sendo uma penalidade temporária, sem prejuízo à integridade física, mental e social do condenado e com vistas à sua ressocialização, sabe-se que o Brasil está longe de atender essas promessas de reintegração e inclusão social (Souza, 2016).

Desse modo, o PrEsp visa a atuar nessa transição entre o cumprimento da pena em regime fechado e o retorno à sociedade, tendo por objetivo “favorecer o acesso a direitos e promover condições para inclusão social de egressos do Sistema Prisional, minimizando as vulnerabilidades relacionadas a processos de criminalização e agravadas pelo aprisionamento” (Estado de Minas Gerais, 2017, p. 68). Segundo Souza (2016), tal atuação faz com que o retorno ao convívio social não seja um esforço puramente individual, mas uma sintonia entre as disposições constitucionais e as políticas públicas.

O público-alvo do PrEsp é composto por pessoas em regime aberto, prisão domiciliar, livramento condicional, liberdade definitiva e seus respectivos familiares. E, para que os objetivos definidos sejam alcançados, o programa delineou algumas ações metodológicas, quais sejam: atendimentos, encaminhamentos, articulações com a rede do município, discussões de caso, visitas domiciliares, grupos com egressos e grupos com pré-egressos (Estado de Minas Gerais, 2017).

4. O MONITORAMENTO DA PPSC MINEIRA E SUA UTILIZAÇÃO

Os resultados serão apresentados de acordo com as quatro dimensões do modelo analítico: a) processo de construção do monitoramento da PPSC; b) percepção dos atores sobre o monitoramento da política; c) usos dos dados e informações; e d) desafios envolvidos.

Sobre a construção do monitoramento da PPSC, pode-se dizer que, de certo modo, a política sempre foi monitorada, ainda que de maneira precária, no que se refere às ferramentas disponíveis para tal. Isso se deve ao fato dos programas serem executados via termo de parceria, que, conforme a legislação, tem metas a ser alcançadas e acompanhadas pela SESP e o órgão central de monitoramento (Secretaria de Estado de Planejamento e Gestão [Seplag]), o que facilitou a introdução da ideia de monitorar a política.

Os atores envolvidos no processo de definição das metas e dos indicadores são percebidos como estratégicos para política (subsecretária, superintendentes, diretores, gestores da assessoria de planejamento da SESP e gestores da Seplag). De modo unânime, os entrevistados entendem que o processo de colaboração entre esses atores foi uma construção muito positiva, sempre na base do diálogo.

Também se notou haver pouca correspondência do monitoramento da PPSC com o modelo proposto por Jannuzzi (2016) já revisado. Embora não exista um painel de indicadores, isto é, a exposição destes de acordo com o nível de relevância das informações e as necessidades dos usuários, como proposto pelo autor, percebeu-se que o monitoramento da PPSC tem como produto o acompanhamento de indicadores, que demonstram a situação geral dos projetos. Além disso, a elaboração do quadro lógico dos programas, que se assemelha ao MaPR, foi fundamental para a delimitação do escopo do monitoramento e a definição das metas e dos indicadores. Identificou-se, ainda, que se trata de um monitoramento do tipo gerencial, de acordo com Jannuzzi (2016), isto é, voltado ao acompanhamento das metas, dos prazos e dos indicadores de processos e produtos.

Quanto à segunda dimensão, as percepções dos entrevistados sobre o monitoramento da política convergem ao entendimento de que se trata de um conjunto de atividades que subsidia o aprimoramento dos programas. Uma exceção se refere ao programa Ceapa, com alusão ao monitoramento como fiscalização. Essa visão parece ser uma especificidade do programa, já que destoa das demais. Pode-se especular, portanto, que, por se tratar de um programa de prevenção secundária, em que os indivíduos atendidos já foram condenados pelo Poder Judiciário e devem cumprir obrigatoriamente a medida, o monitoramento seja mais facilmente relacionado ao controle penal desse público. Além disso, o fato da planilha que registra o andamento do cumprimento das medidas ser denominada “planilha de monitoramento” pode corroborar essa percepção.

No Fica Vivo! se observou certa resistência ao monitoramento. De acordo com os relatos, durante muito tempo se propagou no programa que “a prioridade era a qualidade do trabalho”, de modo que o preenchimento das planilhas ficasse associado a uma atividade menos importante. No entanto, vale ressaltar que a existência do monitoramento não pressupõe a exclusão da qualidade das atividades, e vice-versa. Segundo Mokate (2000), é necessário trabalhar a compreensão de que o “quantitativo” e o “qualitativo” são complementares. No que tange ao não preenchimento do Cadastro de Jovens do programa, é preciso estudar em maior profundidade se as lacunas no preenchimento se devem à resistência ao monitoramento, por parte dos oficineiros, ou a uma dificuldade intrínseca ao programa, tendo em vista o público atendido e a metodologia utilizada na abordagem. Os casos dos programas Ceapa e FV! reforçam a necessidade de consolidar uma cultura de monitoramento na PPSC.

Também foi possível perceber que os atores envolvidos no monitoramento têm conhecimento sobre o fluxo da ferramenta e conseguem perceber diversas vantagens em relação ao instrumento, tanto do ponto de vista operacional quanto estratégico. No entanto, as desvantagens mencionadas por eles refletem que é preciso superar a dificuldade de criar indicadores de resultados e impactos para os programas, que possam traduzir de forma mais concreta a relação das atividades executadas com as mudanças nos territórios e na vida dos beneficiários. Isso pressupõe a construção de um monitoramento do tipo analítico e não apenas gerencial, de acordo com as tipologias de Jannuzzi (2016), de modo a explicitar as relações de causa e efeito que o monitoramento desse tipo pode estabelecer. A superação desse obstáculo remete a proposta de Mokate (2000) de investimento financeiro, político e intelectual para que a equipe responsável pelo monitoramento, e os demais atores estratégicos envolvidos no processo, tenham os aspectos técnicos, sociais e metodológicos necessários para construir um SM&A que atenda às necessidades e expectativas dos atores da PPSC mineira. Inclui-se, aqui, a relevância de construir um banco de dados, com a possibilidade de cruzar as informações dos quatro programas, um painel de indicadores e a estrutura, de equipamentos e recursos humanos, adequada para um monitoramento de excelência.

Tratando de modo mais específico a utilização dos dados e das informações gerados pelo monitoramento da PSSC, foco da terceira dimensão, percebeu-se que o uso é frequente. Nesse sentido, notou-se os tipos de uso direto e político, em nível geral, e, especificamente, os tipos de uso instrumental, processual, persuasivo e imposto com base na tipologia de Bechelaine (2013), como mostra o Quadro 1, no qual se apresentam trechos das entrevistas que ilustram os tipos de usos identificados.

QUADRO 1
TIPOS DE USOS DOS DADOS E INFORMAÇÕES DO MONITORAMENTO DA POLÍTICA DE PREVENÇÃO SOCIAL À CRIMINALIDADE DE MINAS GERAIS

Evidencia-se que o uso instrumental foi mencionado por quase todos os entrevistados. Outro uso muito frequente é o persuasivo. Este também foi citado por praticamente todos os atores, seja se referindo à necessidade de institucionalização ou de fortalecimento da política, seja para argumentos em defesa do orçamento ou para a obtenção de formas alternativas de financiamento, o que se justifica pela escassez de recursos orçamentários para a PPSC. Os entrevistados também se referiram diversas vezes ao uso imposto, isto é, a uma necessidade de prestar contas tanto para órgãos e agentes da administração pública (núcleo gerencial da Supec, governador e prefeitos) quanto para a sociedade. Quando questionados se a utilização desses dados e informações foi capaz de mudar a percepção sobre o M&A de políticas públicas, apenas um entrevistado notou essa transformação, evidenciando o tipo de uso processual.

Quanto aos usos do tipo mecânico, legitimativo, simbólico, conceitual e enlightenment , suas aplicações não foram observadas. Também não foram encontrados indícios de mau uso e abuso na perspectiva de Alkin e Coyle (como citado por Bechelaine, 2013).

Sobre a publicização das informações geradas pelo monitoramento da política, apesar dos resultados serem divulgados no site da SESP, Seplag e do Instituto Elo¹, na percepção dos atores envolvidos, isso não é suficiente para que a população tome conhecimento dos resultados da política, o que indica uma baixa comunicação das informações. Fatores que intervêm nessa questão foram citados, como a alta expectativa social com a justiça repressiva, que concorre com as ações de prevenção da política; o lugar mais estratégico ocupado pela Polícia Militar e suas ações de repressão no governo; e o interesse da mídia na divulgação da evolução dos índices de criminalidade. Vale ressaltar que esses fatos divergem dos relatos a respeito do uso imposto, com a finalidade de prestar contas para a sociedade.

Por fim, abordando os desafios que envolvem o monitoramento e a utilização de suas informações (quarta dimensão), foram mencionadas questões que remetem a recursos em geral, como computadores, internet e força de trabalho; circunstâncias operacionais, como deixar de fazer outras atividades para preencher as planilhas do monitoramento; e aspectos mais técnicos, quais sejam: a) ausência de uma ferramenta que atenda às necessidades dos atores envolvidos, capaz de criar um banco de dados e cruzá-los; b) dificuldade para transformar informação em conhecimento para aprimoramento da política; c) inutilização dos resultados de pesquisas externas; d) dificuldade na produção de informações tempestivas e informações mais qualificadas.

Ademais, foi possível perceber que o monitoramento da PPSC de Minas Gerais precisa ser repensado no sentido de não ser apenas “uma via de mão única”, na qual os dados e as informações são produzidos majoritariamente pelas unidades e enviadas ao núcleo gerencial. É necessário um esforço deste último para produzir análises de modo mais frequente, em tempo oportuno, a fim de subsidiar a construção de intervenções cada vez mais qualificadas pela ponta.

Ainda nesse sentido, notou-se a situação caracterizada pelo “paradoxo da escassez na abundância”, em que as informações existem, mas não são sintetizadas e compartilhadas de modo inteligente, como mencionado por Jannuzzi (2016). Há, portanto, muitos dados que não são transformados em informações, não tendo, consequentemente, uma utilidade direta. Ressalta-se ainda, que o programa FV! demonstrou certa fragilidade em relação à confiabilidade de seus dados e suas informações, conjuntura comum no campo da segurança pública brasileira, de acordo com Lima (2005).

Para potencializar a utilização dos dados e das informações, os atores citaram como fundamental a demonstração recorrente da importância dessas informações para o trabalho das equipes; o aumento do diálogo entre o núcleo gerencial e as unidades; maior aproximação com universidades; e a criação de mecanismos de participação e avaliação do público.

No que se refere aos elementos que auxiliariam a aprimorar o monitoramento, tem-se a necessidade de troca de informação com outros setores; a criação de indicadores de efetividade; e a realização de capacitações contínuas.

Percebeu-se, ainda, que alguns desafios e sugestões apontados dialogam com a literatura referenciada. O primeiro ponto evidente é a necessidade de criar a capacidade para monitorar, segundo Dulci (2012). É preciso ter os recursos materiais e humanos necessários para a efetivação do monitoramento. A partir disso, é importante que se crie, de fato, um sistema de monitoramento que atenda às necessidades dos atores. É preciso, ainda, disseminar os resultados e criar momentos de reflexão e discussão dos achados, tanto para os atores internos quanto para os externos. Ainda nesse sentido, também foi mencionado que é fundamental aprofundar o diálogo sobre o tema, a fim de aproximar o núcleo gerencial das unidades e para que o instrumento esteja mais próximo das instâncias de ação, como alertou Mokate (2006).

5. CONSIDERAÇÕES FINAIS

A complexidade metodológica dos programas que compõem a PPSC revela a importância do monitoramento, embora sua estrutura e realização não correspondam integralmente a um SM&A, de acordo com a literatura. Observou-se que as planilhas de registro não “dialogam” entre si, impedindo a análise sistêmica da política. Os programas são monitorados de modo fragmentado. É preciso, desse modo, construir um monitoramento que atenda às necessidades e expectativas dos atores dos programas e da PPSC de forma geral, com dados e indicadores de painel específicos e comuns para os quatro programas, além de equipamentos e recursos humanos adequados. O que pressupõe a construção de um monitoramento do tipo analítico e não apenas gerencial. No caso da segurança pública, isso é importante para a elaboração de estratégias de controle da criminalidade. Mostra-se indispensável, portanto, investimento financeiro, político e intelectual para que a equipe responsável pelo monitoramento, e os demais atores estratégicos envolvidos, tenham os aspectos técnicos, sociais e metodológicos necessários para tal fim, como abordado na literatura.

Sobre a utilização das informações geradas pelo monitoramento da PPSC, foram identificados os tipos de uso instrumental, para tomada de decisão; o persuasivo, para dar suporte a debates políticos ou financiamentos; o imposto, para prestar contas; e, por fim, o processual, o que significa dizer que houve uma mudança de percepção sobre o M&A de políticas públicas. Ademais, percebeu-se que os usos instrumental, persuasivo e imposto foram mencionados diversas vezes, tanto pelo núcleo gerencial quanto pela ponta, enquanto o processual foi mencionado por apenas um técnico entrevistado. Isso pode justificar-se pelo fato da PPSC mineira estar inserida em um contexto de execução via termo de parceria, que exige o acompanhamento de indicadores e metas, e para sustentação da continuidade da política, que faz menção à necessidade de institucionalizar a prevenção como política de Estado.

Todavia, foram constatados alguns aspectos que, de certa forma, tornam as informações produzidas pelo monitoramento subtilizadas. O primeiro aspecto se refere à percepção informal e mal compreendida do monitoramento como controle penal, no caso do programa Ceapa. Essa visão se mostrou recorrente ao longo da pesquisa e aparenta ser uma particularidade do programa. O entendimento sobre o monitoramento, nesse caso, restringe-se ao cumprimento ou não da medida pelo usuário e precisa ser mais bem trabalhado.

Também se observou que, embora o FV! seja o programa mais antigo e conhecido da PPSC mineira, ele é o que demonstra maior fragilidade no monitoramento. Além de apresentar, em alguns casos, baixa confiabilidade dos dados, conjuntura comum no campo da segurança pública brasileira, esse programa tem dificuldades no preenchimento do Cadastro de Jovens.

Além disso, constatou-se que a produção de informações sobre a política se concentra majoritariamente nas UPCs, isto é, percebe-se que o monitoramento da PPSC mineira funciona basicamente com um único fluxo: o da ponta para o núcleo gerencial. A produção concentrada nas unidades remete a uma sensação de controle pelo núcleo gerencial e faz com que o monitoramento perca seu sentido. Isso posto, é necessário um esforço para produzir análises de modo mais frequente, em tempo oportuno, a fim de subsidiar a construção de intervenções cada vez mais qualificadas pela ponta.

Outro fator relevante foi a insuficiente publicização dos resultados da PPSC de Minas Gerais. Ainda que os atores compreendam a utilidade das informações produzidas, pouco se investe na divulgação para a sociedade civil e os demais atores estratégicos. Por isso, mostra-se relevante promover a divulgação dos resultados e criar momentos de reflexão e discussão das descobertas, tanto para os atores internos quanto para os externos. A apropriação dessas informações por esses indivíduos dá significado ao M&A e possibilita maior utilização dos resultados.

Espera-se que este estudo constitua insumo para fortalecer o monitoramento da PPSC de Minas Gerais e para a potencialização dos usos das informações advindas desse instrumento, já que isso possibilita gerar resultados mais efetivos, beneficiando, consequentemente, os usuários dos programas e a sociedade mineira em geral.

REFERÊNCIAS

• Bechelaine, C. (2013). As avaliações vão para a gaveta? um estudo da utilização das avaliações de impacto no Governo de Minas Gerais (Dissertação de Mestrado). Universidade Federal de Minas Gerais, Belo Horizonte, MG.
• Boullosa, R. F., & Araújo, E. T. (2009). Avaliação e monitoramento de projetos sociais Curitiba, PR: IESDE.
• Cano, I., & Rojido, E. (2016). Mapeo de programas de prevención de homicidios en América Latina y el Caribe (Informe Final). Rio de Janeiro, RJ: Universidade do Estado do Rio de Janeiro.
• Cardoso, J.Jr . (2014). Monitoramento estratégico de políticas públicas: requisitos tecnopolíticos, proposta metodológica e implicações práticas para alta administração pública. Revista Brasileira de Monitoramento e Avaliação, 7, 4-29.
• Decreto Estadual n. 43.295, de 29 de abril de 2003 (2003). Dispõe sobre a organização da Secretaria de Estado de Defesa Social. Belo Horizonte, MG.
• Decreto Estadual n. 43.334, de 20 de maio de 2003 (2003). Cria o Programa de Controle de Homicídios do Estado de Minas Gerais. Belo Horizonte, MG .
• Dias, G. (2008). A informação como instrumento de planejamento de políticas públicas aplicadas à segurança pública. In A. P. M. Miranda, & L. L. Lima (Eds.), Políticas públicas de segurança, informação e análise criminal (pp. 159-191). Niterói, RJ: Universidade Federal Fluminense.
• Dulci, O. (2012). Avaliação de programas sociais: desafios e potenciais na construção de um sistema de informações. Cadernos de Estudos - Desenvolvimento Social em Debate, 13, 221-237.
• Estado de Minas Gerais. (2009). Prevenção social à criminalidade. A experiência de Minas Gerais Belo Horizonte, MG : Superintendência de Prevenção à Criminalidade.
• Estado de Minas Gerais. (2017). Portfólio da política de prevenção social à criminalidade Recuperado de http://www.seguranca.mg.gov.br/images/seds_docs/Prevencao/Portflio%20-%20Preveno%20Social%20%20Criminalidade%202017.pdf
  » http://www.seguranca.mg.gov.br/images/seds_docs/Prevencao/Portflio%20-%20Preveno%20Social%20%20Criminalidade%202017.pdf
• Faria, C. (2005). A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, 20(59), 97-110.
• Garcia, R. (2001). Subsídios para organizar avaliações de ação governamental (Textos para Discussão IPEA, n. 776). Brasília, DF: Instituto de Pesquisa Econômica Aplicada.
• Jannuzzi, P. (2011a). Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas, 16(36), 251-275.
• Jannuzzi, P. (2011b). Monitoramento analítico como ferramenta para aprimoramento da gestão de programas sociais. Revista Brasileira de Monitoramento e Avaliação, 1, 36-65.
• Jannuzzi, P. (2014). Avaliação de programas sociais: conceitos e referências de quem a realiza. Estudos em Avaliação Educacional, 25(58), 22-42.
• Jannuzzi, P. (2016). Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas Campinas, SP: Alínea.
• Jannuzzi, P., Resende, L., Silva, M., & Sousa, M. (2009). Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil. Reflexões para Ibero-América: avaliação de programas sociais (Cadernos EIAPP, pp. 101-138). Brasília, DF: Escola Nacional de Administração Pública.
• Lima, R. (2005). Contando crimes e criminosos em São Paulo: uma sociologia das estatísticas produzidas e utilizadas entre 1871 e 2000 (Tese de Doutorado). Universidade de São Paulo, São Paulo, SP.
• Marques, B. (2015). Parcerias entre Estado e terceiro setor: um estudo de caso da política de prevenção social à criminalidade do Estado de Minas Gerais (Monografia de Graduação). Fundação João Pinheiro, Belo Horizonte, MG .
• Miranda, D. (2015). O papel da política de prevenção à criminalidade para o alcance da segurança cidadã: estudo de caso dos programas de base local do governo do Estado de Minas Gerais (Dissertação de Mestrado). Belo Horizonte, MG : Fundação João Pinheiro.
• Mokate, K. (2000). Convirtiendo el “monstro” en aliado: la evaluación como herramienta de la gerencia social. Revista do Serviço Público, 53(1), 89-131.
• Miguel Vera (2006). Uso de la información generada por la evaluación de programas sociales. In Evaluación para el desarrollo social: aportes para un debate aberto en América Latina (pp. 21-50). Ciudad de Guatemala, Guatemala: Magna Terra. 157
• Oliveira, L. (2017). Parceirização entre Estado e terceiro setor: uma análise institucional do modelo de parcerias com organizações da sociedade civil de interesse público (OSCIPs) em Minas Gerais e da execução da política de prevenção social à criminalidade via termo de parceria (Dissertação de Mestrado). Fundação João Pinheiro, Belo Horizonte, MG .
• Patton, M. (2008). Utilization-focused evaluation Thousand Oaks, CA: SAGE.
• Ramos, M., & Schabbach, L. (2012). O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, 46(5), 1271-1294.
• Rua, M. (2004). A avaliação no ciclo da gestão pública (Manuscrito não publicado). Brasília, DF: Escola Nacional de Administração Pública.
• Serpa, S. (2010). Para que avaliar? Identificando a tipologia, os propósitos e a utilização das avaliações de programas governamentais no Brasil (Dissertação de Mestrado). Universidade de Brasília, Brasília, DF.
• Silva, L. (2017). Políticas públicas e números. Analisando a construção e os usos da informação na segurança pública no território do Rio de Janeiro (Tese de Doutorado). Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ.
• Souza, T. (2016). A implementação da política estadual de prevenção social à criminalidade de Minas Gerais: paradigmas, coalizões e incrementalismo (Dissertação de Mestrado). Fundação João Pinheiro, Belo Horizonte, MG .
• Weiss, C. (1998). Have we learned anything new about the use of evaluation? American Journal of Evaluation, 19(1), 21-33.

• 1
  Organização da Sociedade Civil de Interesse Público (OSCIP) responsável pela execução da PPSC mineira, via Termo de Parceria n. 44, firmado em 2017, vigente até 2020.

Datas de Publicação

• Publicação nesta coleção
  26 Jun 2020
• Data do Fascículo
  May-Jun 2020

Histórico

• Recebido
  12 Fev 2019
• Aceito
  08 Set 2019