Estudos sobre a avaliação do Programa Nacional de Assistência Estudantil à luz das múltiplas abordagens teórico-metodológicas

Studies on evaluation of the National Student Assistance Program in the light of multiple theoretical-methodological approaches

Resumos

O artigo tem como objetivo central descrever as perspectivas dos estudos sobre a avaliação do Programa Nacional de Assistência Estudantil (PNAES) à luz das múltiplas abordagens teórico-metodológicas. Realizou-se um levantamento bibliográfico nas bases de dados, que totalizaram 73 trabalhos lidos na íntegra, dos quais 28 foram considerados para discussão. Na análise documental, foram explorados os relatórios de Gestão do MEC dos últimos 10 anos. Os achados demonstram que as formas avaliativas do Programa são voltadas geralmente para a realidade local de alguma Instituição específica. Os estudos analisados justificam que inexistem pesquisas de avaliação o sob o enfoque de múltiplas abordagens teórico-metodológicas que contribuam para avaliar nacionalmente o PNAES. É possível afirmar a necessidade de desenvolver, validar, aplicar e difundir pesquisas pluralistas de avaliação com vistas à verificação da implementação do Programa.

Palavras-chave:
Avaliação de políticas públicas; Múltiplas abordagens; PNAES

The article aims to describe the perspectives of studies on the evaluation of the Programa Nacional de Assistência Estudantil (PNAES) in the light of multiple theoretical-methodological approaches. A bibliographic survey was carried out in the databases, totaling 73 works read in full, 28 of which were considered for discussion. In the document analysis, the MEC Management reports of the last 10 years were explored. The findings show that the evaluation forms of the Program are generally focused on the local reality of a specific institution. The studies analyzed justify that there is no evaluation research or under the focus of multiple theoretical-methodological approaches that contribute to national assessment of the PNAES. It is possible to affirm the need to develop, validate, apply and disseminate pluralistic evaluation research in order to verify the implementation of the Program.

Keywords:
Evaluation of public policies; Multiple approaches; PNAES

1 Introdução

A avaliação das políticas (policy evaluation) e programas é a fase que pretende analisar se os objetivos e resultados foram atingidos conforme planejado, definida como uma atividade voltada para o desenvolvimento e a melhoria das ações (ALA-HARJA; HELGASON, 2000; SEGERHOLM, 2003; ROSSI; LIPSEY; FREEMAN, 2004; JANNUZZI, 2011). Face ao desenvolvimento de políticas e programas públicos, faz-se necessário as investigações sobre a avaliação, por se tratar de um extenso campo em construção acadêmica com lacuna exponencial para pesquisa no Brasil (COSTA; CASTANHAR, 2003; TREVISAN; BELLEN, 2008; RAMOS; SCHABBACH, 2012; JANNUZZI, 2014).

A política pública analisada neste artigo remete a questão da assistência estudantil brasileira, sobretudo após a expansão e interiorização do ensino superior e da rede federal. Em 2010, o governo federal criou o Decreto nº 7.234, executado na esfera do Ministério da Educação - MEC, dispondo acerca da ampliação do Programa Nacional de Assistência Estudantil - PNAES que foi instituído pela Portaria Normativa nº 39/2007, a fim de amparar universitários provenientes da rede pública ou com renda familiar per capita de até um salário mínimo e meio. Neste marco legal, é defendido que as Instituições Federais de Ensino - IFEs devem firmar mecanismos de acompanhamento e avaliação (grifo nosso) do Programa (BRASIL, 2010). Dessa forma, considera-se que o PNAES é configurado como uma Política Pública voltada à ampliação das condições de permanência dos discentes nacionalmente.

Sob o aspecto de avaliação, encontra-se um dos desafios do PNAES, uma vez que há uma escassez de instrumentos avaliativos amplos, difundidos e holísticos do Programa, bem como a evidente ausência de abordagens múltiplas teórico-metodológicas. Esses pressupostos são sustentados a partir das buscas realizadas em bases de dados, a saber: Scientific Periodicals Electronic Library - SPELL, Scientific Electronic Library Online - SciELO, Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES, Google Scholar, Biblioteca Digital Brasileira de Teses e Dissertações - BDTD, Associação Nacional de Pós-Graduação e Pesquisa em Administração - ANPAD e documentos governamentais.

Nesta nuance, estudos recentes de Santos (2016), Lima e Ferreira (2016), Lima e Davel (2018) explicitaram que a avalição da implementação do PNAES, sobretudo em instituições de ensino superior, ocorre ainda de maneira incipiente e isolada, concluindo que os dispositivos de avaliação ainda são escassos, geralmente construídos a partir da realidade específica de uma Instituição ou Campus. Conforme alguns achados acerca das políticas de assistência estudantil, a avaliação do PNAES ainda é timidamente conhecida e debatida no campo científico, principalmente após a criação, expansão e interiorização das IFEs (TAUFICK, 2014; LIMA; FERREIRA, 2016; SANTOS, 2016; LIMA; DAVEL, 2017, 2018).

Historicamente, os métodos de avaliação de políticas e programas sociais estiveram concentrados em abordagens experimentais ou quase-experimentais, nos anos de 1960, compondo a perspectiva positivista. Em contrapartida, posteriormente, na década de 1970, desenvolveu-se a análise qualitativa na perspectiva construtivista. Depois disso, surge e acende a vertente de multimétodos, tornando-se uma perspectiva de avaliação plural e interdisciplinar, como uma alternativa para resolver o conflito das abordagens anteriores (SERAPIONI, 2016). A concepção do pluralismo metodológico da pesquisa de avaliação de programas e políticas, evidenciou-se como temática emergente para estudos de diversas áreas do conhecimento (WORTHEN; SANDERS; FITZPATRICK, 2004; ROSSI; LIPSEY; FREEMAN, 2004; MINAYO, 2010; JANNUZZI, 2011).

O principal balizador desta pesquisa está sobreposto na problemática das avaliações de políticas públicas, concentrada na visão de como os fatores de múltiplas abordagens teórico-metodológicas podem contribuir efetivamente para avaliar um programa governamental. Diante do contexto apresentado, o presente artigo tem como objetivo central descrever as perspectivas dos estudos sobre a avaliação do PNAES à luz das múltiplas abordagens teórico-metodológicas.

O artigo está estruturado em seções temáticas, além desta introdução e da conclusão. Apresentam-se a seguir, os referenciais acerca da teorização abrangente na pesquisa em três momentos, o primeiro traz as definições discute sobre a avaliação de políticas públicas; o segundo discute suas múltiplas abordagens; e o terceiro sobre o PNAES enquanto política pública. Logo após, os procedimentos metodológicos demonstram as especificidades que guiaram a pesquisa. A quinta seção busca discutir sistematicamente os achados da pesquisa.

2 Avaliação de política pública

A terminologia “Políticas Públicas” tem sido notável em diversas áreas, também denominada de “Public Policy”, está regulada na maneira pela qual as decisões políticas são definidas racionalmente diante do surgimento de problemas e demandas públicas. Ademais, a política pública pode ser vista como uma diretriz elaborada para enfrentamento dos desafios sociais. O problema público, por sua vez, consiste na diferença entre a atual circunstância e a realidade pública idealizada, tornando-se o elemento crucial para definir se uma política é pública. Esse campo conceitual possui uma transversalidade analítica, estudado sob as múltiplas visões acerca do arcabouço teórico de políticas públicas (SECCHI, 2013).

Na visão mais tradicional e difundida sobre o tema, Dye (1992, p. 21) pondera que “análise de política é descobrir o que os governos fazem, porque fazem e que diferença isto faz”, considera-se a descrição e explicação das causas e consequências da ação do governo. Destarte, na abordagem multicêntrica, Secchi (2013) afirma que políticas públicas são conjuntos de programas, ações e atividades desenvolvidas pelo Estado diretamente ou indiretamente, com a participação de entes públicos ou privados. Com isso, não apenas governos fazem política pública, além dos atores estatais (governamentais), outros entes também podem elaborar políticas pública, tais como, organizações privadas, indivíduos, organizações não governamentais, organismos multilaterais, redes políticas e outros.

O conceito de avaliação de políticas, conhecido na literatura internacional de “policy evaluation”, está fundamentado nos resultados (impactos) das ações perante aos objetivos propostos na fase do planejamento. Dessa forma, evidenciou-se como uma etapa crucial nos processos de análise de políticas e programas públicos. Assim, a avaliação é o dispositivo necessário para verificar as implicações nas quais as políticas públicas ocasionam na sociedade. Além disso, as pesquisas acadêmicas sobre avalição de política pública têm ganhado destaque expressivo em proporções internacionais. (COSTA; CASTANHAR, 2003; ROSSI; LIPSEY; FREEMAN, 2004; SARAVIA, 2006; TREVISAN; BELLEN, 2008; RAMOS; SCHABBACH, 2012; JANNUZZI, 2014).

A aplicação metodológica de pesquisa científica junto aos problemas sociais impulsionou a avalição sistêmica de programas e políticas. Na esfera pública, a prática de avaliação deve ser disseminada com a finalidade de verificar o atendimento aos objetivos e difundir informações acerca dos efeitos, possíveis correções ou inviabilidades dos programas aos gestores, usuários e outros atores impactados. (COSTA; CASTANHAR, 2003). A avaliação de políticas, também auxilia do processo decisório dos gestores, no que tange à identificação dos aspectos confirmatórios, possíveis problemas, ajustes, continuidade e/ou encerramento dos programas e políticas pública (ROSSI; LIPSEY; FREEMAN, 2004). Deste modo, para Bechelaine e Ckagnazaroff (2014) o uso das avaliações perpassa o diagnóstico dos problemas e as possíveis soluções, avaliar pode sinalizar para mudanças e melhorias às políticas.

O processo de avaliação designa valor de uma política ou programa pública, perpassa a questão de acompanhar ações e decisões governamentais, as agências reguladoras e fiscalizadoras e os cidadãos; considera referências quantitativas e qualitativas na ponderação dos aspectos avaliativos; possibilita a responsabilização e accountability dos governantes; permite aos formuladores e gestores analisarem a trajetória das políticas, dentre outras consequências que podem ocorrer (RAMOS; SCHABBACH, 2012).

3 As múltiplas abordagens de avaliação de política pública

Historicamente, houve uma preponderância dos métodos experimental e quase-experimental, com a abordagem positivista na condução das avaliações. Depois disso, surgiu também as pesquisas de avalição com métodos qualitativos na abordagem construtivista ou compreensiva. Mais recentemente, principalmente depois da década de 1990, ergueu-se as perspectivas múltiplas (pluralistas) de avaliação de forma que buscou um alinhamento teórico-metodológico diante das tensões sobrepostas. A pluralidade metodológica, o diálogo entre as múltiplas abordagens, a triangulação de métodos e a articulação de técnicas quantitativas e qualitativas são formas referenciadas no campo de estudo de avaliação (MINAYO, 2010; MACIEL; MUNIZ; RODRIGUES, 2010; JANUZZI, 2011; SERAPIONI, 2016).

A avaliação de programas e políticas públicas foi pioneira nos Estados Unidos, onde se desenvolveu cientificamente por meio de investigações de naturezas diversas. O tema ganhou notoriedade e vem sendo cada vez mais explorado também pela academia brasileira (FARIA, 2005; TREVISSAN; BELLEN, 2008; CRUMPTON et al., 2016). No cenário internacional, há comprovadamente uma hegemonia norte-americana, contudo Crumpton et al. (2016), em estudo bibliométrico, concluíram que, a pesquisa relacionada a avaliação de políticas públicas no Brasil tem avanços significativos, mesmo ainda não sendo alicerçada em sua totalidade.

Maciel, Muniz e Rodrigues (2010) defende a visão que as abordagens pluralistas são inovações na área de avalição perante às tradicionais (positivistas). A multiplicidade teórico-metodológica reduz esse conflito de perspectiva e confere uma amplitude de visão mais sistemática da avaliação. Corroborando com essa percepção, Jannuzzi (2013) expõe a diversidade de abordagens metodológicas nas pesquisas sobre avaliação, uma vez que se trata de mecanismos técnicos, nos quais levam a concepção de informação e conhecimento a partir da implementação ex-post de programas sociais.

A avalição pode ser entendida como um conjunto organizado de técnica e estratégia de averiguação de política ou programa, analisada na ótica teórica e prática. A defesa de avaliação por triangulação de métodos é alicerçada por considerar além da abordagem positivista e compreensiva, mas com vistas de agregar as visões, e não para prevalecer alguma. Deste modo, adotar a variabilidade a escolher privilegiar um caminho referencial, ante as problemáticas que se deparam as avaliações de políticas e programas, é o caminho encontrado para amplificar o campo teorizado e metodológico, estruturas, ações dos atores, indicadores e relações do contexto. (MINAYO, 2010).

A premissa de não sobrepor uma perspectiva a outra, conforme Vedung (2014), assume o papel inovador na avaliação de política pública. As fases ou “ondas” da avalição estão permeadas por ideias, conceitos, práticas, técnicas e valores nos vários ramos da administração pública. Por isso, os estudos contemporâneos de avaliação de política pública múltipla e simultânea é crucial mediante aos novos desafios teóricos e práticos.

Segundo Ceneviva e Farah (2012), as ações governamentais em relação ao gerenciamento de qualidade, a melhoria da eficiência e eficácia dos gastos públicos, o controle social e a responsabilização são examinadas pela avaliação de programas e políticas públicas. De acordo com Januzzi (2014), o tema de avaliação de políticas e programas públicos/sociais é objeto de progressivo interesse de gestores e pesquisadores brasileiros.

4 O Programa Nacional de Assistência Estudantil como política pública

Na concepção da educação como direito social de todos, pode-se afirmar que esteve contemplada na Constituição da República Federativa do Brasil de 1988 como dever do Estado (BRASIL, 1988), vigente até os dias atuais. Ainda sob o aspecto legal, o acesso e a permanência do estudante foram mencionados nas Leis de Diretrizes e Bases da Educação - LDB, que indica a acuidade com a avaliação das instituições de ensino superior (BRASIL, 1996). Esses marcos são pontuais e ilustrativos quando comparados com os impactos que a educação pode representar para o desenvolvimento de uma nação.

A educação de nível superior, mais especificamente, ganhou notoriedade em relação à democratização do acesso, com a implantação do Programa de Apoio aos Planos de Reestruturação e Expansão das Universidades Federais - REUNI, com o Decreto nº 6.096 em 2007. Embora houvesse indícios precursores da assistência e permanência estudantil sinalizados, eram apenas ações específicas e isoladas pertencentes às universidades públicas federais. Destaca-se que, ainda que pudessem ser consideradas políticas públicas, inexistia um dispositivo legal e/ou um programa governamental, no qual garantisse de fato a continuação exitosa na graduação pós-acesso aos estudantes socioeconomicamente vulneráveis. Com a Portaria Normativa nº 39, de 12 de dezembro de 2007, institui o PNAES como estratégia de assistir os discentes de ensino superior no âmbito federal, principalmente para democratizar o acesso e a permanência, com a finalidade de atenuar os contrastes regionais e sociais, mais tarde disposto como forma de Decreto nº 7.234/2010 (BRASIL, 2007; 2010).

As políticas públicas de permanência estudantil possuem um valor público, além do acesso das camadas sociais com condições socioeconômicas desfavoráveis, mas também pela sua continuação durante a graduação. Estudos recentes demonstram a necessidade de pesquisas na área de políticas públicas voltadas para permanência dos discentes em vulnerabilidade social devido à democratização do ensino ocorrida pela expansão das IFES nos últimos anos (LIMA; FERREIRA, 2016).

A assistência estudantil passou a ser percebida como necessária para que os discentes que não detinham de melhores condições financeiras pudessem ingressar nas IFES e concluir sua formação, amparados por medidas em determinadas áreas. Foi por intermédio de movimentos sociais que a assistência estudantil conseguiu tornar-se uma política de Governo, e permitir a abrangência de acesso e medidas de permanência no ensino superior. Quanto ao principal Programa assistencial ao discente, o PNAES é marcado por dificuldades e/ou ausência de avaliação (VASCONCELOS, 2010; IMPERATORI, 2017).

Por outro lado, a assistência é tida como precária, haja vista que as ações são desestruturadas e pontuais, voltadas para resolver problemas circunstanciais. Enquanto direito social, o governo procura atender as reivindicações da sociedade no sentido de possibilitar a democratização do ensino, ampliando a gratuidade de quem precisa continuar estudando. Porém, o governo também atende ao capital financeiro e investidor no ensino superior com a mercantilização da ampliação de vagas das instituições privadas (BORSATO; ALVES, 2015). Identificou-se o trabalho de Betzek (2015), que descreveu a trajetória histórica da assistência estudantil e os indicadores existentes frente ao impacto do auxílio na permanência dos discentes. Em suma, retratou-se a influência exercida pelo PNAES na concessão pecuniária que os auxílios têm na permanência, ou não, dos universitários, explicitando a importância de avaliação para tomada de decisão sobre a continuidade do Programa.

O PNAES se configurou como marco legal na condição de política governamental, constatado por diversos estudos que há notadamente a necessidade de avaliação da implementação efetiva do programa, com olhares dos diversos atores sociais (TAUFICK, 2014; LIMA; FERREIRA, 2016; PAULA, 2017; ANDRADE; TEIXEIRA, 2017; LIMA; DAVEL; 2018). Dessa forma, salienta-se a urgência de aliar abordagens múltiplas teórico-metodológicas nas pesquisas de avaliação de um Programa público, conforme proposto neste artigo.

5 Metodologia

Do ponto de vista da forma de abordagem ao problema, este artigo é classificado como qualitativo, embora utilize o mapeamento quantitativo dos estudos acerca do tema. De acordo com Creswell (2010), a pesquisa qualitativa considera o entendimento dos fenômenos, as experiências dos sujeitos e o contexto mais detalhados, gerando conhecimento aprofundado da problemática investigada.

A pesquisa se concentrou em duas macrofases quanto aos aspectos das técnicas metodológicas, uma bibliográfica e a outra documental, interdependentes e complementares entre si. Foram consultadas bases de dados com vistas para identificar os trabalhos reveladores acerca da literatura de avaliação do PNAES e/ou de políticas de assistência estudantil subsidiada por este Programa. Com a pretensão de preservar a fidedignidade dos dados, o percurso metodológico foi repetido pelos autores para garantir a precisão do estudo. Conforme o Quadro 1 a seguir, a primeira fase da investigação se subdividiu em 5 etapas; e a segunda fase em etapa única.

Quadro 1
Estrutura do percurso metodológico do artigo

Fases / Técnicas	Etapas / Base de dados	Termos-chaves de busca	Total (*)
1. Pesquisa bibliográfica	1.1 Scielo e Spell	1.1 Assistência estudantil, Permanência estudantil, Programa Nacional de Assistência Estudantil e PNAES	4
	1.2 Periódicos da Capes	1.2 Assistência estudantil avalia, Permanência estudantil avalia, Programa Nacional de Assistência Estudantil avalia e PNAES avalia	4
	1.3 EnANPAD e EnAPG	1.3 Assistência estudantil, Permanência estudantil, Programa Nacional de Assistência Estudantil e PNAES	2
	1.4 Google Acadêmico	1.4 “Avaliação do Programa Nacional de Assistência Estudantil”	1
	1.5 BDTD	1.5 “Avaliação do Programa Nacional de Assistência Estudantil”	17
2. Documentos	Relatórios de Gestão MEC (2008-2017)	Assistência estudantil, Permanência estudantil, Programa Nacional de Assistência Estudantil e PNAES	10

• (*) Quantidade de trabalhos/documentos considerados para versão final do artigo
• Fonte: Elaboração própria (2019).

Na etapa 1.1, foram utilizados os termos como assistência estudantil, permanência estudantil, Programa Nacional de Assistência Estudantil e PNAES, para bases da SCIELO e SPELL. Optou-se por não colocar filtros e excluir trabalhos repetidos em termos anteriormente pesquisados. Assim, foram analisados na íntegra 27 na primeira base e 2 na segunda. Desses 29 achados, apenas 4 versavam especificamente sobre avaliação. Na base de periódicos da CAPES que compôs a etapa 1.2, por ser mais ampla, utilizou-se a expressão “avalia” junto aos termos descritos acima, no intuito de direcionar a procura. Dessa forma, 50 títulos foram identificados, 18 eliminados por terem sido analisados nas bases anteriores, e por fim totalizam 13, dos quais somente 4 tratavam da temática avaliação. Nessa etapa, foram mapeados 8 artigos científicos para construção dessa discussão teórica.

Na etapa 1.3, buscaram-se os artigos que abrangessem a assistência estudantil em todas as edições do Encontro Nacional da ANPAD - EnANPAD. Por se tratar de um tema relacionado a políticas públicas, pesquisaram-se os trabalhos do Encontro de Administração Pública da ANPAD - EnAPG. Neste sentido, foram descobertos e considera nessa pesquisa 2 artigos desses importantes eventos científicos.

A etapa 1.4 foi constituída de uma procura mais específica, devido a extensão das bases, com a expressão exata “Avaliação do Programa Nacional de Assistência Estudantil”. No Google Acadêmico foram achados 16 e eliminados 6 trabalhos (já encontrados em outras bases). Foram analisadas 10 obras na integras, sendo que exclusivamente 1 versava sobre a avaliação do Programa em questão.

Na etapa 1.5, formada pela BDTD, foram encontradas e analisadas 35 dissertações e teses, nas quais 17 selecionadas para este estudo, por possuírem enfoques avaliativos. Vale ressaltar, que nenhuma tese estava dentro do recorte proposto. Por não se trata de uma pesquisa propriamente bibliométrica e essa última base de dados ter o maior volume de achados, a análise de conteúdo se concentrou nos objetivos, abordagens metodológicas e resultados, especificando as contribuições mais reveladoras frente ao objeto de estudo.

Assim, na fase de levantamento bibliográfico nas bases de dados foram totalizados 73 trabalhos lidos na íntegra, e 28 considerados para compreensão deste artigo. Em complementação a isso, a segunda fase se concentrou na análise documental de todos os relatórios de Gestão do MEC dos últimos 10 anos. A finalidade dos documentos é investigar como o governo trata a avaliação do Programa a nível nacional.

A análise de conteúdo, seguindo Bardin (2011), foi sistematizada com a função de categorizar as informações quanto a abordagem metodológica, resultados em relação ao contexto e resultados gerais. A utilização desta técnica visou para além de quantificar o número trabalhos analisados, proporcionando a inferência de conhecimentos que atinjam o objetivo desta pesquisa.

6 Resultados e discussões

Das fontes mapeadas, notou-se que o trabalho de Oliveira e Dias (2010) propôs um modelo descritivo e quantitativo, por intermédio de um instrumento de análise do programa de assistência estudantil do Centro Federal de Educação Tecnológica de Minas Gerais - CEFET-MG. Esse modelo foi apreciado qualitativamente pelos profissionais (executores) da área e aplicado a 120 discentes do Campus I. O principal resultado foi a confecção desse instrumento experimental de coleta de dados para avaliação de programas de assistência estudantil. Enquanto a pesquisa de Vargas (2011) revelou, por meio de uma amostra de egressos da Universidade Federal de Minas Gerais, como a inserção de mercado dos ex-participantes do programa de bolsa de assistência estudantil comparados aos dos que não eram participantes. Em termos de remuneração, portando o diploma, ambos têm as mesmas condições que são influenciados pela carreira, titulação e setor de atuação. O estudo quantitativo foi marcado por descobrir essa igualdade remuneratória sob a posse do título de graduação, assim como, desvelar a imprescindibilidade das políticas assistenciais ao discente socioeconomicamente vulnerável para a conclusão do ensino superior e ter condições equitativas no mercado de trabalho.

A pesquisa de Lima e Ferreira (2016) mapeou qualitativamente as políticas de assistência estudantil das Universidades em comparação com as áreas do PNAES, concluindo de modo geral que há consonância quanto ao que é declarado pelas Instituições em seus portais e os objetivos descritos no decreto do Programa. Portanto, ressaltam a necessidade de investigações mais aprofundadas quanto a sua efetividade, as quais rompam a visão somente quanto ao objetivo atingido, visando a identificação de mecanismos que verifiquem como as barreiras, que ainda se fazem presentes no desenvolvimento das políticas, podem ser sanadas a partir de pesquisas avaliativas. Da mesma foram, Santos (2016) identificou, por intermédio de pesquisa bibliográfica feita em estudos de casos publicados de 2013 a 2015, falta de mecanismos de monitoramento e avaliação do PNAES e fragilidades na definição de metas e indicadores consoantes as instituições.

Tanto o estudo de Lima e Melo (2016) quanto o de Brito e Barbosa (2016) verificaram juntos aos beneficiários dos PNAES a percepção acerca das contribuições do Programa. As pesquisas foram classificadas como qualitativas e descritivas, sendo uma realizada em Universidade Federal do Estado de Pernambuco e a outra localizada em Belo Horizonte. A conclusão de ambos convergiu para relatar que o PNAES contribui na permanência no curso, formação acadêmica, minimização das desigualdades e inclusão social.

Lacerda e Valentini (2018) avaliaram o impacto da política de moradia estudantil subsidiada pelo PNAES, mais especificamente em relação a permanência dos discentes na universidade. Para tanto a investigação foi classificada como quase-experimental, notando que os sujeitos dessa política de moradia têm resultados positivos no rendimento acadêmico e permanência dos estudantes residentes superior aos não residentes. Além disso, orientam que pesquisas futuras avaliem particularidades quanto a melhoria do desempenho ou rendimento acadêmico.

Andrade e Teixeira (2017) relacionaram as áreas do PNAES com três variáveis, a saber, desempenho acadêmico, permanência e desenvolvimento psicossocial de estudantes de uma universidade federal. Este estudo verificou, por meio de uma pesquisa quantitativa, que há uma baixa correlação entre a intenção de concluir o curso, o desempenho acadêmico e a percepção de desenvolvimento psicossocial relacionados à satisfação dos estudantes nas áreas propostas pelo PNAES. Esse achado demonstra a necessidade de um olhar para além das disponibilizações financeiras e orçamentárias, sugerindo a urgência de pesquisas avaliativas específicas que analise outros fatores relacionados à temática.

Já a investigação de Recktenvald, Mattei e Pereira (2018) se concentrou nas discussões epistemológicas, com abordagem metodológica interpretativista no contexto de 3 universidades públicas federais, observando a dialética como sendo necessária e enfatizando a complexidade para além da visão reducionista de causa-efeito do PNAES com a evasão existente da relação entre acesso e permanência.

Carrano, Bertassi e Melo-Silva (2018) apresentaram um estudo de caso com estudantes em condição de vulnerabilidade socioeconômica de uma instituição federal de ensino do interior de Minas Gerais, com o intuito foi verificar a efetividade do PNAES no combate da evasão acadêmica desses discentes. De maneira quantitativa, os dados encontrados no Censo da Educação Superior, nos anos de 2016 e 2017, revelaram que a diminuição da evasão entre os discentes foi tímida aos estudantes pertencentes ao Programa.

A pesquisa de Silva Júnior (2018) foi definida como quali-quanti, utilizando levantamentos documentais, bibliográficos, questionários e entrevistas com corpo técnico, gestor e público-alvo. Como produto final, elaborou-se uma proposta de implantação da ferramenta estratégica Balanced Scorecard como mecanismo de avaliação de desempenho do PNAES para ser empregada na Universidade Federal de Alagoas.

O Quadro 2 abaixo fornece o panorama desses papers supramencionados, categorizando suas principais características e perspectivas.

Quadro 2
Panorama geral dos artigos selecionados

Características	Perspectivas	Total
Quanto a abordagem metodológica	Quantitativa	5
	Qualitativa	5
	Múltiplas (quanti-quali ou quali-quanti)	1
	Total	11
Quanto aos resultados em relação ao contexto	Aplicados a alguma Universidade Federal específica	10
	Aplicados a algum Campi específico de um determinado Instituto Federal	1
	Total	11
Quanto aos resultados gerais	Descrição/Análise de variáveis/índices quanto ao PNAES e/ou as políticas que se desdobram a partir do Programa	4
	Descrição/Compreensão dos efeitos/resultados do PNAES e/ou as políticas que se desdobram a partir do Programa	5
	Construção de variáveis e desenvolvimento de modelos de avaliação do PNAES	2
	Total	11

• Fonte: Elaboração própria (2019) com base nos achados.

Quanto aos artigos analisados, percebe-se que a maioria analisa um contexto específico, seja de alguns Campi ou Universidades específicas. Embora as investigações atingissem seus objetivos, raríssimos foram os casos que utilizaram as múltiplas abordagens, ou demonstraram elementos para compor uma avalição do PNAES mais pluralista em termos de aplicação nacional.

Mapearam-se também 17 dissertações na base de dados BDTD, onde foram agrupadas e organizadas a partir das características quanto aos objetivos, metodologias e resultados, conforme quadro a seguir:

Quadro 3
Panorama dos trabalhos selecionados da base BDTD

Características	Perspectivas	Total
Quanto a abordagem metodológica	Quantitativa	3
	Qualitativa	9
	Múltiplas (quanti-quali ou quali-quanti)	5
	Total	17
Quanto aos resultados em relação ao contexto	Aplicados a algumas Universidades Federais específicas	6
	Aplicados a alguns Campi específicos de determinadas Universidades Federais específicas	3
	Aplicados a alguns Institutos Federais específicos	4
	Aplicados a alguns Campi específicos de determinados Institutos Federais	4
	Total	17
Quanto aos resultados gerais	Descrição/Análise de variáveis/índices quanto ao PNAES e/ou as políticas que se desdobram a partir do Programa	3
	Descrição/Compreensão dos efeitos/resultados do PNAES e/ou as políticas que se desdobram a partir do Programa	13
	Construção de variáveis e desenvolvimento de modelos de avaliação do PNAES	1
	Total	17

• Fonte: Elaboração própria (2019) com base nos achados.

A partir dessas análises, pode-se dizer que a avaliação do PNAES e/ou das políticas concebidas pelo Programa, na condição de tema de pesquisa, possui diversidade de narrativas em relação as Instituições Federais de Ensino Superior - IFES. As dissertações que se debruçaram a investigar o PNAES com enfoque avaliativo, estiveram concentradas em destinos específicos das localidades institucionais. Esses trabalhos já sinalizam pontos importantes, nos quais merecem atenção de outros pesquisadores sob as múltiplas abordagens. Portanto, pela dimensão e alcance que essa política pública tem, precisa-se de um olhar mais abrangente quanto ao desenvolvimento de pesquisas a serem formuladas e/ou demandas pelo Governo.

Os documentos analisados foram reveladores quanto a questão da emergência da avaliação do PNAES, justamente por não apresentarem dados reveladores quanto a efetividade desta política. Conforme o Relatório de Gestão Consolidado da Secretaria Executiva do MEC, o Programa apresentou um crescimento progressivo, de 2012 a 2015 os investimentos totalizaram mais de R$ 2,7 bilhões, e em 2016 o valor chegou a R$ 993 milhões (BRASIL, 2017). A estatística demonstrou o volume orçamentário que o governo federal disponibilizou para a implementação dessa política pública. Em contrapartida, os dados apresentados com a taxa de concluintes foram decrescentes, o que demonstra um desafio para compreender os fatores relacionados à implantação do PNAES.

Nas buscas em sites e relatórios do MEC e de das IFES, assim como nos artigos, dissertações e teses, embora se perceba que haja um monitoramento quantificado das ações locais das instituições, sobretudo em relação ao orçamento e número de discentes atendidos por bolsas, não foi verificado a uniformização avaliativa do Programa já que este é universalmente implementado nos Institutos e Universidades Federais.

Os estudos analisados justificam que não há pesquisas que identifiquem os elementos de avaliação o sob o enfoque de múltiplas abordagens teórico-metodológicas que contribuam para avaliar o PNAES. Os achados científicos ainda demonstram que as formas avaliativas do PNAES são voltadas geralmente para a realidade única e/ou local de alguma Instituição ou Campus específico. Então, é possível afirmar a necessidade de desenvolver, validar, aplicar e difundir pesquisas de avaliação do PNAES, sobretudo com abordagens teórico-metodológicas múltiplas.

Trazendo para especificidade do PNAES, percebeu-se pontualmente alguns trabalhos que fizeram uso dos múltiplos métodos quanto a avaliação. Entretanto, em levantamento bibliométrico realizado por Crumpton et al. (2016) alertaram que, os pesquisadores do Brasil e dos Estados Unidos utilizaram métodos semelhantes de abordagens nos estudos sobre avaliação de políticas públicas de modo geral, porém os americanos usam mais os métodos quanti-quali em relação aos brasileiros. Estes autores recomendaram que as pesquisas no Brasil empreguem com mais frequência as múltiplas abordagens, aplicando os métodos quantitativos e qualitativos.

A problemática principal discutida neste artigo é de proporcionar a discussão pluralista e transversal da avalição de políticas públicas, na qual Januzzi (2014) defende como abordagem interdisciplinar, e orienta para imprescindibilidade no exercício do conhecimento científico. Em consonância com Vedung (2014), as “ondas” ou a diversidade de fases da avaliação não precisam ser mutuamente excludentes, já que deixam “sedimentos” influenciadores no processo avaliativo de Políticas Públicas.

Segundo Minayo (2010) denominam de triangulação, a estratégia que rompe com a dialética do positivismo e do compreensivismo, buscando uma junção entre as abordagens. A complementariedade e a aproximação de técnicas para avaliação de política pública são essências dessa triangulação, não caracterizadas por uma propensão do pesquisador ou sobreposição metodológica quantitativa versus qualitativa.

Outra contribuição inovadora importante trazida é a possibilidade de inclusão dos atores sociais no processo de avaliação da implementação, inclusive dos destinatários finais, como recomenda Weiss (1998, p. 27) “evaluators often chose to use evaluation to take clients’ values and interests into account and address their concerns”. Acerca disso, o uso de avaliação como prática em que os atores devem participar deste processo é uma das classificações trazidas por Worthen, Sanders e Fitzpatrick (2004). Destarte, os principais atores sociais do PNAES a serem acessados são os gestores governamentais do executivo; os burocratas de nível de rua, que são os executores (implementadores); e os discentes, que são os destinatários finais impactados pelas políticas.

Dessa forma, pode-se reconhecer que avaliar nacionalmente o PNAES é um feito inédito, integrando a concepção de múltiplas abordagens teórico-metodológica, além de contribuir para o avanço teórico. Torna-se significativo, além disso, para o governo, IFES, gestores públicos, pesquisadores, docentes, discentes e sociedade em geral que contribui para o financiamento da educação pública com pagamento de impostos. Além do mais, as avaliações podem proporcionar melhorias na implementação do Programa, controle social, accountability, dentre outros.

Notou-se, no presente estudo, o quanto é comum o uso exclusivo de uma abordagem teórico-metodológica, seja nas perspectivas experimentais ou quase-experimentais (positivista) ou qualitativa (construtivista). Assim, buscou-se romper esse paradigma dicotômico de escolher uma unicidade na forma de como desenhar uma avalição de uma política pública, propondo a possibilidade de abordar múltiplos métodos frente a um Programa Nacional.

7 Conclusão

Foi identificada nas bases de dados consultadas, a ausência de trabalhos pluralistas que combinem perspectivas positivista-experimentais e construtivistas, com abordagens metodológicas quantitativas e qualitativas, simultaneamente, sobretudo em programas nacionais como o PNAES. Por isso, o objetivo do artigo foi atingido, uma vez que descreveu a forma na qual os estudos de avaliação do Programa em questão têm sido abordados. Mesmo se limitando a demonstrar como os estudos tratam o tema, os resultados trouxeram a possibilidade de múltiplas perspectivas teórico-metodológicas para pesquisas futuras.

Salientou-se ainda, a imprescindibilidade de uma concepção de avalição pluralista de impactos com vistas à verificação da implementação desse Programa público. Observando que essa carência por estudos validados e difundidos cientificamente para avaliar o PNAES nacionalmente é uma realidade comprovada. O próprio Decreto nº 7.234/2010 de criação do PNAES ratifica a necessidade de criação de mecanismos avaliativos quanto ao seu desenvolvimento.

Se por um lado foi constado que existe um espaço para investigações em avaliação de políticas públicas, por outro, pode-se afirmar que as pesquisas avaliativas do PNAES são pontuais. Em linhas gerais, os estudos ainda são inespecíficos, uma vez que não enfocam amplamente o PNAES e geralmente descrevem um cenário isolado de algum Campus das IFES. É notório que alguns estudos são precursores da possibilidade de múltiplas abordagens, podendo subsidiar a criação de um banco de dados e indicadores de avaliação, buscando aprimorar e contemplar tanto as dimensões quantitativas quanto as qualitativas, sejam teóricas e metodológicas.

Os documentos acessados colaboraram para reforçar o argumento que inexiste um sistema de avaliação do PNAES por parte do governo no que diz respeito ao acompanhamento e monitoramento das ações implementadas pelas IFES na execução do Programa. Os dados apresentados demonstram a necessidade de tornar a avaliação factível, principalmente para parametrizar de forma pluralista os reais impactos dessa política nacional.

Não obstante, a questão central deste estudo residiu em comprovar a ausência de avaliação do PNAES a nível nacional, situada nas múltiplas abordagens teórico-metodológicas, principalmente no contexto das IFES. Revela-se com isso que, a principal lacuna encontrada foi sinalizar a possibilidade de avaliação de múltiplas concepções teórico-metodológicas como contribuição para o PNAES. A partir disso, os resultados são fatores estruturantes de motivação para construção de uma pesquisa pelos autores deste artigo.

Referências

• ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-59, out./dez. 2000.
• ANDRADE, Ana Maria Jung de; TEIXEIRA, Marco Antônio Pereira. Áreas da política de assistência estudantil: relação com desempenho acadêmico, permanência e desenvolvimento psicossocial de universitários. Avaliação, Campinas; Sorocaba, v. 22, n. 2, p. 512-528, ago. 2017. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772017000200512&lng=en&nrm=iso Acesso em: 10 ago. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772017000200512&lng=en&nrm=iso
• BARDIN, Laurence. Análise de conteúdo. São Paulo: Edições 70, 2011.
• BECHELAINE, Cinthia Helena de Oliveira; CKAGNAZAROFF, Ivan Beck. As avaliações vão para a gaveta? Uma revisão teórica dos fatores relacionados ao uso de avaliações de políticas públicas. Contabilidade, Gestão e Governança, Brasília, v. 17, n. 2, p. 78-93, 2014.
• BETZEK, Simone Beatris Farinon. Avaliação do Programa Nacional de Assistência Estudantil - PNAES na UTFPR Câmpus Medianeira. 123f. 2015. Dissertação (Mestrado em Educação) - Universidade Estadual Paulista, Faculdade de Filosofia e Ciências, Marília, 2015.
• BORSATO, Fracieli Piva; ALVES, Jonilda de Moraes. Student assistance in higher education in Brazil. Procedia: Social and Behavioral Sciences, [s.l], v. 174, n.1 p. 1542-1549, 2015.
• BRASIL. Constituição da República Federativa do Brasil. Brasília, DF: Senado 1988.
• BRASIL. Lei de nº 9.394, de 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da Educação Nacional. Diário Oficial [da] República Federativa. Brasília, DF, 23 dez. 1996.
• BRASIL. Decreto Lei nº 6.096, de 24 de abril de 2007. Institui o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais - REUNI. Diário Oficial [da] República Federativa do Brasil. Brasília, DF, 24 abr. 2007.
• BRASIL. Decreto nº 7.234, de 19 de julho de 2010. Dispõe o Programa Nacional de Assistência Estudantil - PNAES. Diário Oficial [da] República Federativa do Brasil. Brasília, DF, 19 jul. 2010.
• BRASIL. MINISTÉRIO DA EDUCAÇÃO. Relatório de gestão consolidado exercício 2016. Brasília, DF, 2017. Disponível em: Disponível em: https://contas.tcu.gov.br/egestao/ObterDocumentoSisdoc?codPapelTramitavel=57727615 Acesso em: 20 set. 2018.
  » https://contas.tcu.gov.br/egestao/ObterDocumentoSisdoc?codPapelTramitavel=57727615
• BRITO, Lilian da Silva; BARBOSA, Alba. Programa de Auxílio Moradia em uma Unidade Acadêmica de uma Universidade de Pernambuco: uma avaliação na perspectiva dos (as) discentes beneficiados. Revista online de Política e Gestão Educacional, Brasil, v. 21, n. 1, p. 125-145, jan. 2017.
• CARRANO, Davi Pereira; BERTASSI, André Luiz; MELO-SILVA, Gustavo. Efetividade do Pnaes enquanto política pública do Estado para o combate à evasão universitária na UFSJ. Educação Online, Rio de Janeiro, v. 13, n. 28, p. 1-19, ago. 2018. Disponível em: Disponível em: http://educacaoonline.edu.puc-rio.br/index.php/eduonline/article/view/417/203 Acesso em: 15 jun. 2019.
  » http://educacaoonline.edu.puc-rio.br/index.php/eduonline/article/view/417/203
• CENEVIVA, Ricardo; FARAH, Marta Ferreira Santos. Avaliação, informação e responsabilização no setor público. Revista de Administração Pública, Rio de Janeiro, v. 46, n. 4, p. 993-1016, dez. 2012.
• COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992, 2003.
• CRESWELL, John W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 3. ed. Porto Alegre: Artmed, 2010.
• CRUMPTON, Charles David et al. Evaluation of public policies in Brazil and the United States: a research analysis in the last 10 years. Revista de Administração Pública, Rio de Janeiro, v. 50, n. 6, p. 981-1001, dez. 2016.
• DYE, Thomas R. The policy analysis. Alabama: The University of Alabama Press, 1992.
• FARIA, Carlos Aurélio Pimenta. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005.
• IMPERATORI, Thaís Kristosch. A trajetória da assistência estudantil na educação superior brasileira. Serv. Soc. Soc., São Paulo, n. 129, p. 285-303, maio 2017.
• JANNUZZI, Paulo de Martino. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas, Brasília, DF, v. 36, p. 251-275, 2011.
• JANNUZZI, Paulo de Martino. Sistema de monitoramento e avaliação de programas sociais: revisitando mitos e recolocando premissas para sua maior efetividade na gestão. Revista Brasileira de Monitoramento e Avaliação, Brasília, v. 1, p. 4-27, 2013.
• JANNUZZI, Paulo de Martino. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Est. Aval. Educ., São Paulo, v. 25, n. 58, p. 22-42, maio 2014.
• LACERDA, Izabella Pirro; VALENTINI, Felipe. Impacto da moradia estudantil no desempenho acadêmico e na permanência na universidade. Psicol. Esc. Educ., Maringá, v. 22, n. 2, p. 413-423, ago. 2018.
• LIMA, Mário Celso Neves de; MELO, Marlene Cristina de Oliveira Lopes. Programa Nacional de Assistência Estudantil: uma avaliação de estudantes de baixa condição socioeconômica em uma universidade pública. Revista Meta: Avaliação, Brasil, v. 8, n. 23, p. 216 - 247, ago. 2016.
• LIMA, Wandilson Alisson Silva; FERREIRA, Liliane Caraciolo. Mapeamento e avaliação das políticas públicas de assistência estudantil nas universidades federais brasileiras. Revista Meta: Avaliação, Brasil, v. 8, n. 22, p. 116-148, maio 2016.
• LIMA, Wandilson Alisson Silva; DAVEL, Eduardo. Experiência da linha de frente em um Instituto Federal de Educação, Ciência e Tecnologia. RP3 Revista de Pesquisa em Políticas Públicas, Brasília, v. 10, n. 1, p. 1-33, 2017.
• LIMA, Wandilson Alisson Silva; DAVEL, Eduardo. Implementação de políticas públicas de assistência estudantil: estratégias organizacionais na perspectiva da efetividade. Organizações em Contexto, São Bernardo do Campo, v. 14, n. 27, jan. 2018.
• MACIEL, Iracy Soares Ribeiro; MUNIZ, Cátia R; RODRIGUES, Lea Carvalho. Metodologia qualitativa em avaliação de políticas públicas: pesquisa sobre o Pronaf em Caucaia, Ceará. Revista de Políticas Públicas (AVAL), Fortaleza, v.1, n, 6, p. 51-61. jul./dez., 2010.
• MINAYO, Maria Cecilia de Souza. Introdução: conceitos de avalição por triangulação. In: MINAYO, Maria Cecilia de Souza; ASSIS, Simone Gonçalves de; SOUZA, Edinilsa Ramos de (org.). Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz, 2010. p. 19-51.
• OLIVEIRA, Eliane Alves de; DIAS, Alexandre Teixeira. Indicadores de desempenho e avaliação de política de assistência estudantil: proposição e aplicação de um instrumento. In: ENCONTRO DE ADMINISTRAÇÃO PÚBLICA E GOVERNANÇA, 4., 2010, Vitória/ES. Anais [...]. Vitória: EnAPG, 2010. p. 1-16.
• PAULA, Maria de Fátima Costa de. Políticas de democratização da educação superior brasileira: limites e desafios para a próxima década. Avaliação, Campinas; Sorocaba, v. 22, n. 2, p. 301-315, jul. 2017. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772017000200301&lng=en&nrm=iso Acesso em 23 jan. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772017000200301&lng=en&nrm=iso
• RAMOS, Marília Patta; SCHABBACH, Letícia Maria. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, Rio de Janeiro, v. 46, n. 5, p. 1271-1294, 2012.
• RECKTENVALD, Marcelo; MATTEI, Lauro; PEREIRA, Vilmar Alves. Avaliando o Programa Nacional de Assistência Estudantil (PNAES) sob a ótica das epistemologias. Avaliação, Campinas; Sorocaba, v. 23, n. 2, p. 405-423, jul. 2018. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772018000200405&lng=en&nrm=iso Acesso em: 12 jan. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772018000200405&lng=en&nrm=iso
• ROSSI, Peter H.; LIPSEY, Mark W.; FREEMAN, Howard E. Evaluation: a systematic approach. 7. ed. Thousand Oaks, CA: Sage Publications, 2004.
• SANTOS, Álisson de Almeida. A avaliação no contexto do Programa Nacional de Assistência Estudantil (PNAES). Revista Gestão Universitária, Brasil, v. 6, p. 1-14, 2016.
• SARAVIA, Enrique. Introdução à teoria da política pública. In: SARAVIA, Enrique; FERRAZ, Elisabete (orgs.). Políticas públicas. Brasília: ENAP, 2006. v.2. p.21-42.
• SECCHI, L. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. ed. São Paulo: Cengage Learning, 2013.
• SEGERHOLM, Christina. Researching evaluation in national (State) politics and administration: a critical approach. American Journal of Evaluation, USA, v. 24, p. 353-372, 2003.
• SERAPIONI, Mauro. Conceitos e métodos para a avaliação de programas sociais e políticas públicas. Sociologia, Porto, v. 31, p. 59-80, jun. 2016.
• SILVA JÚNIOR, G. S. Política pública de assistência estudantil: uma proposta de implantação da ferramenta Balanced Scorecard (BSC) como ferramenta de avaliação de desempenho do Plano Nacional de Assistência Estudantil (PNAES). In: ENCONTRO DA ANPAD, 42., 2018, Curitiba/PR. Anais […]. Curitiba: EnANPAD, 2018. p. 1-16.
• TAUFICK, Ana Luiza de Oliveira Lima. Análise da política de assistência estudantil dos Institutos Federais de Educação, Ciência e Tecnologia. Revista Brasileira de Política e Administração da Educação RBPAE, [s.l], 30, n. 1 p. 181-201, 2014.
• TREVISAN, Andrei Pittol; VAN BELLEN, Hans Michael. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3, p. 529-550, jun. 2008.
• VASCONCELOS, Natália. Programa Nacional de Assistência Estudantil: uma análise da assistência estudantil ao longo da história da educação superior no Brasil. Revista da Católica, Uberlândia, v. 2, n. 3, p. 399-411, 2010.
• VARGAS, Michely de Lima Ferreira. Ensino superior, assistência estudantil e mercado de trabalho: um estudo com egressos da UFMG. Avaliação, Campinas; Sorocaba, v. 16, n. 1, p. 149-163, mar. 2011. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772011000100008&lng=en&nrm=iso Acesso em: 28 jan. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772011000100008&lng=en&nrm=iso
• VEDUNG, Evert. Four waves of evaluation diffusion. Evaluation, London, v. 16, n. 3, p. 263-277, 2010.
• WEISS, Carol H. Have we learned anything new about the use of evaluation? American Journal of Evaluation, USA, v. 19, n. 1, p. 21-34, 1998.
• WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo: Ed. Gente/EDUSP/Instituto Fonte/Instituto Ayrton Senna, 2004.

Datas de Publicação

• Publicação nesta coleção
  22 Maio 2020
• Data do Fascículo
  Jan-Apr 2020

Histórico

• Recebido
  26 Fev 2020
• Aceito
  03 Mar 2020