Avaliação de Políticas Públicas para a Educação Superior: o caso do Programa Universidade para Todos (PROUNI)

Evaluation of Policies Public for Higher Education: the case of the University for All Program (PROUNI)

Resumos

O Programa Universidade para Todos (PROUNI) configura-se como Política Pública, de natureza afirmativa, para facilitar o acesso ao Ensino Superior de camadas sociais com menores oportunidades educacionais, econômicas e culturais. Delineou-se pesquisa para se obter indícios dos resultados do PROUNI e, assim, permitir sua valoração. Tal atividade se aproxima da ideia de avaliação do tipo ex post-facto, cuja função é prestar esclarecimento à sociedade da sua relevância ou proporcionar social accountability. Para tal, foram desenvolvidos dois estudos para comparar usuários com não usuários do PROUNI em cinco distintos atributos: (i) tempo médio de formação, (ii) qualidade do aprendizado, (iii) impacto institucional oriundo da formação discente, (iv) nível de satisfação com a formação e (v) nível de empregabilidade. No primeiro estudo empregaram-se dados secundários de 924 alunos egressos de cursos de graduação, enquanto o segundo estudo usou dados primários decorrentes do uso de um Questionário Voltado aos Egressos (QVE) em uma amostra de 88 ex-alunos. Resultados da análise comparativa entre usuários e não usuários do PROUNI através dos Testes ANOVA e Qui-Quadrado demonstraram que: (i) usuários apresentaram maior Qualidade de Aprendizado do que não usuários [F = 13,749; p < 0,01]; (ii) usuários apresentaram maior Impacto Institucional do que não usuários [F = 4,528; p < 0,01]; (iii) usuários apresentaram menor Tempo de Formação do que não usuários [F = 12,055 (p < 0,01]; (iv) usuários demonstraram satisfação com a formação recebida e reconheceram a eficácia desta ante exigências profissionais do mercado de trabalho, não tendo sido detectada diferença significativa com não usuários [χ2(1; 86) = 0,67; p > 0,01); (v) usuários demonstraram desejo de inserirem-se imediatamente no mercado de trabalho, para gerar renda para as respectivas famílias, ao contrário dos não usuários [χ2 _{(1; 86)} = 6,64; p < 0,05].

Palavras-chave:
Ensino superior; Políticas públicas; Avaliação educacional; PROUNI

The University for All Program (PROUNI) is a Public Policy, affirmative in nature, aimed at facilitating access to higher education of social strata with less educational, economic, and cultural opportunities. A research was designed to obtain clues about PROUNI's results and thus to allow a judgment on the federal program. Such activity approaches the idea of ex-post-facto evaluation, whose function is to provide clarification to society about its relevance or provide social accountability. To that end, two studies were developed to compare PROUNI users with non-users in five different attributes: (i) average training time, (ii) quality of learning, (iii) level of satisfaction with training and (v) level of employability. In the first study, secondary data were used of 924 students who graduated from the undergraduate courses, while the second study used primary data from the application of a Questionnaire for Egresses in a sample of 88 former students. The results of the comparative analysis between users and non-PROUNI users through the ANOVA Test and the Chi-Square Test demonstrated that: (i) users presented higher Learning Quality than their non-users peers [F = 13,749 ; p <0.01]; (ii) users presented higher Institutional Impact than their non-users peers [F = 4,528; p <0.01]; (iii) users presented less training time than their non-users peers [F = 12,055 (p <0.01); (iv) users showed satisfaction with the training received and acknowledged the effectiveness of this, [χ2 (1; 86) = 0.67, p > 0.01]; (v) users showed a greater desire to enter the labor market immediately, in order to generate income for their families, unlike non-users of PROUNI [χ2 _{(1; 86)} = 6.64; p < 0.05].

Keywords:
Higher education; Public policies; Educational evaluation; PROUNI

1 Introdução

O acesso, a permanência e a qualidade da educação tem sido uma preocupação de todas as nações soberanas, democráticas, inclusivas, emancipadoras e avançadas nas artes, nas ciências, nas tecnologias e inovação. Fóruns e conferências mundiais, tais como a Conferência Mundial de Educação Superior (CMES), realizada em 1988 e 2009, a Conferência Regional de Educação Superior (CRES), realizada em 1988e2008, que são promovidas por governos e organismos internacionais como a Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO), têm tratado do tema educação superior e deixado recomendações valiosas para ações futuras.

A Educação Superior torna-se objetivo estratégico, segundo recomendações da CMES, na medida em que as instituições responsáveis se imponham como protagonistas desse processo para a geração de riqueza, fortalecimento das identidades culturais, coesão social e desenvolvimento de uma nova sociedade, na qual governos possam comandar seus destinos e colocar-se a serviço do bem-estar de todos.

Curiosos de como a responsabilidade social e o acesso a Educação Superior no Brasil está alinhado às demandas da comunidade internacional, elegemos uma das políticas públicas para Educação Superior em plena vigência, com o fito de se conhecer a percepção dos seus beneficiados e os efeitos desta na Instituição de Ensino Superior (IES) na qual é implementada. Nessa direção, seguiremos em busca de respostas, tanto da qualidade, quanto da satisfação de estudantes de uma IES, oriundos do Programa Universidade para Todos (PROUNI). Saliente-se que as informações e os dados empregados nesse trabalho são oriundos do Instituto de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), ao Sistema Nacional de Avaliação da Educação superior (SINAES), do Censo do Ensino Superior, do Exame Nacional do Ensino Médio (ENEM), do Exame Nacional de Desempenho de Estudantes (ENADE) e dos Registros Oficiais da IES eleita para a pesquisa.

Tomando como partida o que preconiza o relatório de 1988 da CRES “A Educação Superior é direito humano e um bem público social”.Assim sendo, o Ministério da Educação (MEC) submeteu ao parlamento brasileiro, em 2004, por medida provisória, proposta de um programa afirmativo e gratuito (Bolsa PROUNI) de acesso ao ensino superior. O PROUNI já atendeu, desde sua criação, em 2005, até o processo seletivo do segundo semestre de 2016, mais de 1,9 milhão de estudantes, sendo 70% com bolsas integrais (1,33 milhão de alunos). Para o fortalecimento desse programa concedeu-se aos seus participantes o privilégio ao acesso ao Financiamento Estudantil (FIES). Dessa forma, a junção desses dois programas (PROUNI e FIES) garante o acesso e a permanência do aluno universitário no curso pretendido.

Consoante Pacheco e Ristoff (2004), a realidade da Educação Superior no Brasil, comparada aos nossos vizinhos da América Latina e com países desenvolvidos, deixa muito a desejar, não só em termos qualitativos como em quantitativos, sobretudo no que tange à oferta de cursos. A demanda para o ingresso na educação superior no Brasil é muito visível e transparente, basta que se observe o número de candidatos que se inscrevem anualmente para participar dos certames seletivos para ingresso no sistema de Educação Superior, sobretudo nos cursos de graduação.

O número de vagas ofertadas pelo Sistema Federal de Ensino, disponível no web site do INEP é sempre muito inferior à demanda, o que deixa bem transparente nosso déficit em proporcionar oportunidades de acesso ao ensino superior. A meta do Plano Nacional de Educação (PNE), proposta pelo MEC é alcançar 14 milhões de alunos no Ensino Superior. Mesmo que se atinja a meta preconizada no PNE, urge que se faça um programa para expansão do Ensino Superior utilizando-se outras estratégias e métodos, sobretudo, utilizando-se as Tecnologias da Informação e Comunicação (TIC) na modalidade de Ensino a Distância (Ead), consoante opinaram Silva, Lima e Andriola (2016), Andriola e Gomes (2017).

Políticas públicas voltadas à formação de novos professores, atualizados, não só nos conteúdos, mas, sobretudo, nas novas TIC serão necessárias para dar suporte ao aumento do número de vagas na educação superior (ANDRIOLA; OLIVEIRA, 2015). O medo da massificação é sabiamente contestado por Ristoff (2014), para quem “pequena quantidade não necessariamente é sinônimo de alta qualidade”. O que se busca é um sistema inclusivo, de massas, sem restrições e amarras, que proporcione oportunidade de formação isonômica. Para que a Educação Superior brasileira honre o seu papel de imperativo estratégico, como preconiza a CMES, seus responsáveis (Governo, Iniciativa Privada e o Estado) devem atuar em bloco monolítico, afim de alinharem seus propósitos, ações e metas, para que possa proliferar a inteligência democrática, com a participação igualitária de todos, sem dicotomias ou viéses.

2 O Programa Universidade para Todos (PROUNI)

Na opinião de Andriola (2008) e Ristoff (2014), nas duas últimas décadas a educação superior brasileira foi marcada por forte expansão, sob todos os aspectos: cresceu o número de instituições, de cursos, de vagas, de ingressantes, de matrículas e de concluintes. Foi um crescimento constante e significativo, com marcada aceleração de ritmo entre 1999 a 2003, período em que se observaram altas taxas de crescimento da educação superior, notadamente em função da proliferação de instituições privadas (Faculdades, Centros Universitários e Universidades) dotados de autonomia para criar novos cursos e aumentar o número de vagas ofertadas.

No período 2004 a 2014 o crescimento se manteve constante, embora em ritmo mais moderado, e em maior sintonia com as políticas globais de inclusão social, passando a expansão a estar fortemente associada à democratização do acesso aos cursos, orientando-se por um conjunto de políticas estruturantes, voltadas à inclusão (ANDRIOLA; SULIANO, 2015). Nesse hiato, as matrículas em cursos de graduação cresceram de cerca de 1,5 milhão para quase7 milhões, representando incremento de quase 350%. Ristoff (2014) pondera que tal crescimento se deu, em grande parte,através da oferta de curso pelo setor privado, especialmente no período de 1999 a 2003, quando as matrículas cresceram 66%.

Não obstante ao cenário favorável de expansão, Costa e Ferreira (2017) ressaltam que a restrição do acesso e as condições de permanência desfavoráveis na Educação Superior são dois problemas significativos, que coexistiram com o fenômeno da democratização do acesso do alunado ao campus brasileiro. Isso se agrava quando estudantes devem superar “barreiras,” quase instransponíveis, para ingressar nas reduzidas vagas das universidades públicas, se comparadas ao amplo número daquelas oferecidas no setor privado. Um desses condicionantes decorre dos processos seletivos concorridos e reconhecidamente excludentes, o que contribui para limitar o acesso a este nível de ensino (PEREIRA FILHO, 2011).

Tais condições acentuam o processo de desigualdade na distribuição dos bens educacionais, assim como vêm impor exigências ao estudante, os quais podem vir a ser impedidos de ingressar e, principalmente, de concluir a formação no curso superior, conforme lembraram Araújo, Andriola e Coelho (2018). Mediante tal situação, nas últimas décadas, o Governo Federal tem recorrido à criação de medidas para expansão quantitativa, do acesso à Educação Superior, tais como a formulação de Políticas Públicas voltadas a essas camadas sociais menos privilegiadas (SOUSA; ANDRIOLA; LIMA, 2016).

Criado pelo Governo Federal através da medida provisória nº 213 de dez de setembro de 2004 e institucionalizado pela Lei nº 11.096, em 13 de janeiro de 2005, o Programa Universidade para Todos (PROUNI)¹, regula a atuação de entidades beneficentes de assistência social no ensino superior. O programa configura-se como importante política pública de natureza afirmativa, voltada a facilitar o acesso e incrementar a discriminação positiva, com a característica de não ter nenhum ônus para o aluno.

O PROUNI já atendeu, desde sua criação até o processo seletivo do segundo semestre de 2016, mais de 1,9 milhão de estudantes, sendo 70% com bolsas integrais (1,33 milhão de indivíduos). Adiante serão tecidos comentários acerca de alguns artigos da lei, mais esclarecedores, e seus parágrafos, para melhor entendimento do PROUNI e dapesquisa que ora vislumbra-se desenvolver.

Inicialmente, identificar-se-ão os stakeholders, de acordo alei do PROUNI e das demais leis que interagem e tratam da matéria, ressaltando-se o papel de cada um no âmbito do referido programa. A lei do PROUNI define o que é o programa, quem são seus beneficiários, operadores e gerenciadores, logo no seu Artigo 1º (BRASIL, 2005):

Fica instituído, sob a gestão do Ministério da Educação, o Programa Universidade para Todos - PROUNI, destinado à concessão de bolsas de estudo integrais e bolsas de estudo parciais de 50% (cinquenta por cento) ou de 25% (vinte e cinco por cento) para estudantes de cursos de graduação e sequenciais de formação específica, em instituições privadas de ensino superior, com ou sem fins lucrativos.

O Programa conta com um sistema de seleção informatizado e impessoal, que confere transparência e segurança ao processo. Os candidatos são selecionados pelas notas obtidas no Exame Nacional do Ensino Médio (ENEM) conjugando-se, desse modo, inclusão à qualidade e mérito dos estudantes com melhores desempenhos acadêmicos.O exame é realizado anualmente pelo INEP/MEC.

Para o presente estudo elegemos os alunos com bolsas integrais, visto que a IES escolhida optou no ato de adesão somente por essa modalidade.A lei nº 9.870 de 23 de novembro 1999 define o que vem a ser bolsa de estudo e dispõe sobre o valor das anuidades escolares. Essa normatização é importante dentro do contexto do estudo, pois mostra a dimensão do benefício ofertado aos participantes do programa.O parágrafo primeiro do Artigo 1º da lei do PROUNI identifica o perfil econômico do aluno beneficiado pelo programa, objeto do estudo: “§ 1^o A bolsa de estudo integral será concedida a brasileiros não portadores de diploma de curso superior, cuja renda familiar mensal per capita não exceda o valor de até 1 (um) salário-mínimo e 1/2 (meio) (BRASIL, 2005)”.

O Artigo 2º da lei do PROUNI (BRASIL, 2005) trata do acesso e permanência do aluno no programa.

Art. 2^o A bolsa será destinada a: I - estudante que tenha cursado o ensino médio completo em escola da rede pública ou em instituições privadas na condição de bolsista integral; II - estudante portador de deficiência, nos termos da lei; III - professor da rede pública de ensino, para os cursos de licenciatura, normal superior e pedagogia, destinados à formação do magistério da educação básica, independentemente da renda a que se referem os §§ 1^o e 2^o do art. 1^o desta Lei. Parágrafo único. A manutenção da bolsa pelo beneficiário, observado o prazo máximo para a conclusão do curso de graduação ou seqüencial de formação específica, dependerá do cumprimento de requisitos de desempenho acadêmico, estabelecidos em normas expedidas pelo Ministério da Educação.

Nosso estudo elegeu alunos bolsistas do PROUNI e não bolsistas.Portanto, é importante que se transcreva o Artigo 4º da lei do PROUNI “Art. 4^o Todos os alunos da instituição, inclusive os beneficiários do Prouni, estarão igualmente regidos pelas mesmas normas e regulamentos internos da instituição” (BRASIL, 2005).

Portanto, o tratamento igualitário aos alunos nas IES é exigido por lei.O PROUNI torna-se robusto na medida em que a lei que o instituiu é abrangente minuciosa e completa, não deixando lacunas que possam causar danos, como privilégios e discriminação aos participantes.

Para finalizar, cumpre destacar que o PROUNI, somado ao FIES, ao Sistema de Seleção Unificada (SISU), ao Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), a Universidade Aberta do Brasil (UAB) e a expansão da rede federal de educação profissional e tecnológica ampliou, significativamente, a oferta de vagas na educação superior, contribuindo para incrementar o acesso de jovens a esse nível de ensino e de formação profissional.

3 Avaliação de políticas públicas

Consoante Andriola (1999), avaliar significa determinar a valia de algo, atribuir valor a alguma atividade ou entidade com o fito de gerar novas informações que permitam o plano de ações para o seu aprimoramento. Outras línguas, incluindo o espanhol e o inglês, coincidem na associação de avaliação como atribuição de valor (MOKATE, 2002; GARCIA, 2001). No entanto, Ala-Harja e Helgason (2000) advertem que não existe consenso quanto ao que seja avaliação de políticas públicas, pois o conceito admite múltiplas definições, algumas delas contraditórias.

Esse fato explica porque a área de políticas públicas é perpassada por uma variedade de disciplinas, instituições e executores, abrangendo diversas questões, necessidades e pessoas que buscam abordar, através da avaliação, a eficácia e a excelência das políticas públicas (ANDRIOLA, 2000).

Nesse âmbito, Ala-Harja e Helgason (2000) definem avaliação em termos simples, afirmando que o termo compreende a avaliação dos resultados de um programa em relação aos objetivos propostos. Combinando contribuições de diversos autores, Garcia (2001) define avaliação como uma operação na qual é julgado o valor de uma iniciativa organizacional, a partir de um quadro referencial ou padrão comparativo previa. Segundo Silva e Costa (2002), as políticas públicas tornam-se programas quando, por ação de uma autoridade, as condições iniciais para sua implementação se concretizam. Pode ser considerada, também, como a operação de constatar a presença ou a quantidade de um valor desejado nos resultados de uma ação empreendida, tendo como base um quadro referencial ou critérios de aceitabilidade pretendidos (BLANKENBERG, 1995).

O Comitê de Assistência ao Desenvolvimento da Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) assinala que o propósito da avaliação é determinar a pertinência e o alcance dos objetivos, a eficiência, efetividade, impacto e sustentabilidade do desenvolvimento. A avaliação deve proporcionar informação que seja crível e útil para permitir a incorporação da experiência adquirida no processo de tomada de decisão. A avaliação deve ser vista como um mecanismo de melhoria no processo de tomada de decisão, a fim de garantir melhores informações, sobre as quais eles possam fundamentar suas decisões e melhor prestar contas sobre as políticas públicas (ALA-HARJA; HELGASON, 2000; TREVISAN; BELLEN, 2008).

Thoenig (2000) declara que o uso da avaliação é orientado para ação, assim, a prioridade dela é fornecer informação. Contudo, Mokate (2002) acautela que diversas definições, inclusive a do comitê, falham em resgatar explicitamente o conceito de “valor” ou de “mérito”, pois se centram na verificação do cumprimento de um plano e análise do atingimento de objetivos, supondo que o plano e os objetivos correspondentes têm um valor já reconhecido e aceito em si. Não obstante a grande utilidade das informações provindas da avaliação, esta é muito pouco utilizada.

No caso das reformas do setor público, Thoenig (2000) observa que nenhuma iniciativa foi lançada para avaliar as reformas.Pelo contrário, pode-se encontrar um relativo ceticismo para com a avaliação, particularmente, entre praticantes bem-informados e experientes em reforma da gestão pública, alguns até mesmo expressam uma resistência à avaliação que parece predominar no seu próprio governo. As avaliações podem ser um “problema” para os governantes, executores e gerentes de projetos porque os resultados podem causar constrangimentos públicos. As informações e resultados das avaliações podem ser usados pelo público e pela imprensa para criticar os governos, da mesma forma que, em caso de “boas notícias”, os governos podem usá-las para legitimar as próprias políticas, como ganho político etc.

Ao dar ênfase sobre o ciclo de uma política pública, Frey (2000) o apresenta em quatro etapas, quais sejam: (i) a percepção e definição de problemas, (ii) a elaboração de programas e decisão, (iii) a implementação, e, por fim, (iv) a avaliação para a correção e melhoria da ação.Com efeito, considerando que é esta última etapa a que nos interessa devemos entender o que significa avaliar uma política pública. Inicialmente, convém destacar, por oportuno, que, segundo Andriola (1999), a avaliação é uma atividade científica que tem a pretensão de obter informações úteis acerca do objeto analisado com duplo propósito: permitir sua valoração e possibilitar seu aprimoramento.

Nesse sentido, Faria (2005) corrobora essa visão, ao destacar que a avaliação representa a etapa do ciclo das políticas que objetiva aperfeiçoar ações além de fornecer subsídios para intervenções, prestação de contas e responsabilização de agentes envolvidos. Souza (2003) arremata esse posicionamento teórico ao destacar a avaliação como processo de acompanhamento e análise da implementação de políticas, que auxilia todas as etapas do planejamento e orienta as tomadas de decisão.

É ainda na fase da avaliação que se constata quais objetivos foram alcançados, de modo a fomentar decisões sobre a continuidade do ciclo político, sobre a iniciação de um novo ciclo, a elaboração de um novo programa ou até modificação do anterior (FREY, 2000). Nesse sentido, Souza (2003) afirma que as pesquisas devem dar atenção especial para as variáveis que impactam sobre os resultados das políticas públicas, com o fito de entender melhor os resultados destas.

Destarte, a avaliação, que pode ser feita durante ou após a execução de um programa, faz parte do ciclo da política pública e é inexorável para analisar e verificar suas repercussões, além de contribuir para o desenvolvimento contínuo das ações do governo. Vale ressaltar que desde o início da avaliação de políticas púbicas, na década de 1960, sua função sofreu mudança de foco.

Segundo Trevisan e Bellen (2008), inicialmente a avaliação dava ênfase ao fornecimento de informação, garantindo o feedback; posteriormente, na década de 1980, quando se buscava mais eficiência na alocação de recursos, o foco foi direcionado para a (re)alocação fundamentada em critérios orçamentários; já na década de 1990, última constatada na literatura, sua função passou a ser de legitimação por meio do questionamento do papel do Estado, atendendo à exigência de se verificar os resultados dos investimentos da administração pública.

Cabe ressaltar que nos últimos anos, observou-se movimento global, no âmbito dos poderes legislativos, de discussão em diversos continentes como Ásia, África e América Latina acerca da necessidade de se criar políticas nacionais de avaliação no intuito de se analisar a relevância, eficácia, eficiência e efetividade de programas públicos. Na realidade, trata-se de um movimento cujo nascedouro remonta-se às ideias de Scriven (1994) sobre os conceitos de meta-avaliação e de accountability.

Quando se focaliza a accountability fundamentada numa perspectiva mais ampla, com base não apenas nas suas formas e processos, mas em uma visão na qual se constituanum instrumento a serviço dos ideais democráticos de um país, os administradores públicos têm o dever de buscar aquilo que Platão, Aristóteles e Cícero trataram de “o bem comum” (ROCHA, 2011).

Portanto, a accountabilityé uma perspectiva de transparência e de controle da coisa pública, através de sistemáticas de avaliação que visam gerar informações relevantes acerca da adequação dos recursos públicos empregados na execução dos programas e das atividades componentes das políticas públicas. Assim, atualmente, a sociedade exige que as políticas públicas e os programas que as compõem rendam contas à sociedade, através de sistemáticas de avaliação (SCRIVEN, 1994). De certo modo, é esse um dos aspectos centrais que justificam a presente pesquisa.

3.1 Taxonomia para os estudos avaliativos

Na vasta literatura acerca da avaliação educacional, há inúmeros intentos de classificação dasinvestigações de cunho avaliativo (SHADISH JUNIOR; COOK; LEVITON, 1991). Conforme a opinião de Capucha, Almeida, Pedroso e Silva (1996), tais investigações podem ser organizadas empelo menos quatro tipos, a saber:

Avaliação ex ante: consiste na identificação de necessidades e na realização de estudos de factibilidade quanto à execução de uma atividade qualquer. Referidas ações devem orientar a formulação e o desenvolvimento de uma atividade, um programa ou uma política. Inclui a definição de objetivos, o âmbito ou locusde aplicação, a caracterização dos beneficiários e o atendimento de necessidades (BOURGUIGNON; FERREIRA; LEITE, 2003).

Avaliação formativa ou processual: tem por objetivo identificar o grau de coerência e de perfeição das atividades (ou dos processos) que estão sendo executadas, com base nos objetivos que foram determinados a priori. Trata-se de uma atividade que determinará qual o melhor caminho a seguir, quais as melhores estratégias ou processos a serem implementados, com vistas ao alcance dos objetivos e das metas estabelecidas.A essência do trabalho do avaliador é acompanhar, observar e diagnosticar os processos inerentes ao alcance dos objetivos do programa, com vistas ao aprimoramento destes, em muitos casos, concomitantemente à sua execução (FREY, 2000; ANDRIOLA; ARAÚJO, 2018). Este acompanhamento inclui o diagnóstico das eventuais falhas dos instrumentos, procedimentos, conteúdos e métodos, bem como da adequação da atividade, do programa ou da política, ao público-alvo (SCRIVEN, 1994).

Acompanhamento e monitoramento: em geral, busca identificar o grau de adequação entre o planejado e o executado (BLANKENBERG, 1995). Trata-se, assim, de ação que visa avaliar a eficiência de algo, a partir dos objetivos e das metas estabelecidas a priori. Nesse âmbito, as atividades demonitoramento permitem intervir no processo de execução do programa, corrigindoos rumos cada vez que desvios são detectados. Na maior parte das vezes, referida intervenção exigeiniciativa, criatividade e soluções alternativas aos entraves surgidos durante o processo executivo (CARVALHO; WHITE, 1995).

Avaliação somativa, de resultado ou ex post facto: envolve estudos focados nos resultados de uma ação, atividade, programa, curso, política, ou algo similar. O objeto é o produto ou a consequência tangível de uma ação planejada, conforme asseverouScriven (1994). Nesse âmbito, cumpre destacar que a análise comparativa das repercussões do PROUNI entre usuários e não usuários, possibilitará obter dados diagnósticos, que, por seu turno, permitirão o planejamento de ações de aprimoramento e a tomada de decisões por parte dos gestores e dos formuladores de programas e de políticas públicas, com vistas à adequação destas últimas ao público usuário, consoante às ideias de Andriola (1999).

Para finalizar esse tópico, cabe recorrer a Therrien e HageSobrinho (1983/1984), para quem a avaliação deverá possibilitar o planejamento eficiente de ações, com vistas a assegurar a credibilidade do programa ou da política frente aos olhos dos usuários e perante a sociedade na qual se insere. Para tal, ressaltam:

A avaliação deve mostrar não apenas o somatório de realizações, mas, sobretudo, o efeito ou impacto de sua presença e atuação no contexto social que lhe dá razão de ser. [...]. Ao mesmo tempo em que contribui para a unificação efetiva das partes num todo coerente e atuante, a avaliação consolida os empenhos de participação, porque reconhece os princípios da democracia e da responsabilidade conjunta (THERRIEN; HAGE SOBRINHO, 1983/1984, p. 19).

3.2 “Mitologias” em torno avaliação de políticas públicas

Conforme Ala-Harja e Helgason (2000), as avaliações são mal-vistas porque representam um universo de muitas promessas e poucas realizações. Para alguns setores, a avaliação corresponde a um novo modismo, gerador de burocracia e poucos resultados. Cotta (2001) reconhece que o simples fato de realizar uma avaliação não significa, automaticamente, que as informações produzidas serão utilizadas. Dessa forma, o principal motivo pelo qual a avaliação geralmente não atende às expectativas reside na presunção de que as condições para o aproveitamento desse tipo de informação estão dadas. Ocorre justamente o contrário: a avaliação é uma atividade que, por suas próprias características, exige que essas condições sejam intencional e meticulosamente criadas, sobpena de comprometer todo o esforço despendido (COTTA, 2001).

Não obstante, Faria (2005) aponta outros possíveis fatores que podem interferir na utilização dos resultados da avaliação: existência de crenças e interesses conflitantes na organização que gerencia o programa; ocorrência de conflitos de interesses entre as distintas unidades do programa; mudanças no pessoal encarregado (exemplo, novatos têm prioridades diferentes daquelas vigentes no início da avaliação); eventual inflexibilidade das regras e dos padrões operacionais da organização, que pode impedir a adoção das recomendações feitas quando da avaliação; mudanças nas condições externas, tais como cortes orçamentários e alterações no ambiente político. Uma vez superados os fatores impeditivos do uso da avaliação, Faria (2005) distingue quatro tipos de emprego:

1. Instrumental - depende não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados, sua inteligibilidade e da factibilidade das recomendações propostas;

2. Conceitual - as descobertas da avaliação podem alterar a maneira como esses técnicos entendem a natureza, o modo de operação e o impacto do programa que implementam. Nenhuma decisão ou ação é esperada, pelo menos não imediatamente;

3. Instrumento de persuasão - quando a avaliação é utilizada para mobilizar o apoio para a posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa;

4. “Esclarecimento” - acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacycoalitions, bem como alterações nas crenças e na forma de ação das instituições, orientando a agenda governamental.

Fundamentando-se no exposto, delineou-se pesquisa com o fito de se obter indícios sobre os resultados de uma Política Pública voltada à Educação Superior, nesse caso o PROUNI, atividade esta que se aproxima da ideia de avaliação com a função de “esclarecimento”, do tipo ex post facto, conforme os objetivos a seguir detalhados.

4 Objetivo geral da pesquisa

Avaliar o Programa Universidade para Todos (PROUNI) enquanto Política Pública voltada ao Ensino Superior.

4.1 Objetivos específicos

1. Contrastar o tempo médio de formação dos usuários do PROUNI com os demais alunos.

2. Diferenciar a qualidade do aprendizado dos usuários do PROUNI com os demais alunos.

3. Comparar o impacto institucional oriundo do aprendizado dos usuários do PROUNI com os demais alunos.

4. Confrontar o nível de satisfação dos usuários do PROUNI com os demais alunos, no que tange à formação recebida.

5. Contrastar o nível de empregabilidade dos usuários do PROUNI com os demais alunos.

5 Design da pesquisa

Trata-se de estudo comparativo entre dois grupos de alunos, a saber: (i) usuários do PROUNI e (ii) não usuários do PROUNI. Assim sendo, basicamente o que se tem é um design quase experimental, no qual os dois grupos referidos foram comparados quanto aos atributos descritos no Quadro 1.

Quadro 1
Design básico da pesquisa

Atributo Estudado	Objetivo Específico ao qual o Atributo se Vincula	Unidade de Medida do Atributo
Tempo médio de formação	a	Anos Letivos
Qualidade do aprendizado	b	Média Global de Rendimento Acadêmico
Impacto institucional	c	Média do Conceito do Curso no ENADE
Nível de satisfação com a formação	d	Grau de Satisfação com a Formação através do QVE
Nível de empregabilidade	e	Grau de Empregabilidade através do QVE

6 Definições operacionais dos atributos

As definições para cada um dos atributos empregados no estudo, conforme previsto nos objetivos específicos referidos no design da pesquisa.

1. Tempo médio de formação: tempo decorrido desde o ingresso do aluno no seu curso, até a conclusão exitosa deste, em termos de anos de estudo.

2. Qualidade do aprendizado: amplitude, profundidade e consistência nas quais os conteúdos previstos na matriz pedagógica do respectivo curso foram assimilados pelo alunado, em termos de média global de rendimento, expressa em uma nota que pode variar no intervalo entre os valores zero e dez.

3. Impacto institucional oriundo do aprendizado: qualidade da participação do alunado formado na IES no que tange aos resultados obtidos no Exame Nacional de Desempenho de Estudantes (ENADE) do seu respectivo curso, através do conceito obtido por este último.

4. Nível de satisfação: medida oriunda do emprego do Questionário Voltado aos Egressos (QVE) para avaliar aspectos diretamente vinculados à formação, tais como, qualidade dos docentes, qualidade da gestão de curso, qualidade da biblioteca e do acervo, qualidade da infraestrutura física do curso, qualidade da acessibilidade, dentre outros aspectos relevantes;

5. Nível de empregabilidade: medida oriunda do emprego do Questionário Voltado aos Egressos (QVE) para avaliar aspectos diretamente vinculados à capacidade de inserção no mercado de trabalho do alunado, a partir do desenvolvimento de competências e da aquisição de conhecimentos técnicos e específicos, oriundos da formação obtida no curso de graduação.

7 Locus da pesquisa

A pesquisa foi desenvolvida no Centro Universitário da Grande Fortaleza (UNIGrande), cuja sede localiza-se no município de Fortaleza (CE). Trata-se de uma IES com 18 anos de existência, de natureza administrativa privada, que possui aproximadamente 3500 alunos regularmente matriculados em quase 40 cursos de graduação (presenciais e a distância).

8 Natureza dos dados

O estudo contou com dois conjuntos de dados. O primeiro desses conjuntos empregou dados secundários, obtidos junto à Diretoria de Tecnologia da Informação (DTI) do UNIGrande, com o fito de permitir o alcance dos três primeiros objetivos específicos. Os dados permitiram a geração de informações acerca de 924 alunos egressos dos cursos de graduação presenciais do UNIGrande, no período entre 2001 e 2016.

O segundo conjunto empregou dados primários decorrentes da execução de estudo de campo, através da aplicação do Questionário Voltado aos Egressos do UNIGrande (QVE) numa amostra de 88 alunos egressos de 2018, com o fito de permitir o alcance dos dois últimos objetivos específicos, referidos anteriormente.

9 Apresentação e discussão dos resultados da pesquisa

Conforme referido, a pesquisa compôs-se de dois estudos independentes, efetivados com o fito de comparar o grupo de alunos usuários do PROUNI com o grupo de alunos não usuários do PROUNI. Assim sendo, nos próximos tópicos serão apresentados os principais resultados dos dois estudos.

9.1 Estudo 1 - Tempo de formação, qualidade do aprendizado e impactos institucionais: análise comparativa entre usuários e não usuários do PROUNI

Trata-se de estudo comparativo e natureza descritiva, que recorreu a dados quantitativos para gerar novas informações acerca dos egressos dos cursos presenciais de graduação, componentes de dois grupos distintos: usuários do PROUNI e não usuários.

9.1.1 População

A população constituiu-se de 924 alunos egressos de cursos presenciais de graduação do UNIGrande, diplomados no período compreendido entre 2010 e 2017.

9.2 Resultados Principais

Nesta seção do trabalho serão apresentados os principais resultados dos 924 alunos egressos partícipes da pesquisa, conforme o grupo de pertença: (i) usuários do PROUNI e (ii) não usuários do PROUNI. Com essa intenção a Tabela 1 apresenta parâmetros de tendência central (média aritmética) e de dispersão (desvio-padrão, valores mínimo e máximo) para cada um dos atributos estudados.

Tabela 1
Valores dos Atributos para os Usuários do PROUNI

Atributos		Qualidade do Aprendizado	Impacto Institucional	Tempo de Formação
Usuários n = 47	Média	7,68	3,30	4,13
	Desvio padrão	0,57	0,59	1,12
	Mínimo	6,18	2	1
	Máximo	8,75	4	7

• Fonte: Pesquisa Direta (2018).

Consoante os dados, no grupo formado pelos 47 usuários do PROUNI, que representou a proporção de 5,1% da população estudada, a média aritmética reveladora da qualidade do aprendizado foi 7,68, numa escala cuja amplitude vai de zero a 10. O menor valor foi 6,18 e o maior 8,75, com desvio-padrão 0,57 denotando certa homogeneidade nesse grupo de aprendizes.

No que tange aos impactos institucionais da qualidade da participação do alunado formado na IES e os resultados obtidos ENADE pelo seu respectivo curso, observa-se que a média aritmética foi 3,30, numa escala que pode variar de um a cinco. O menor valor foi dois e o maior quatro, com desvio-padrão 0,59 denotando certa homogeneidade entre os componentes desse grupo.

Finalmente, acerca do tempo de formação, observa-se que a média aritmética foi 4,13 anos. O menor valor foi um e o maior sete anos, com desvio-padrão 1,12 denotando certa heterogeneidade dos componentes desse grupo.

No que diz respeito aos não usuários do PROUNI, a Tabela 2 apresenta informações com referência aos 96 alunos que possuem convênios estabelecidos entre o UNIGrande e as suas respectivas organizações patronais.

Tabela 2
Valores dos Atributos para os Não Usuários do PROUNI (conveniados)

Atributos		Qualidade do Aprendizado	Impacto Institucional	Tempo de Formação
Não Usuários (conveniados) n = 96	Média	7,03	3,13	4,67
	Desvio padrão	0,51	0,57	1,10
	Mínimo	6,16	2	2
	Máximo	8,29	4	10

• Fonte: Pesquisa Direta (2018).

A partir dos dados, observou-se que dentre os 96 não usuários do PROUNI (conveniados), que representou a proporção de 10,4% da população estudada, a média aritmética reveladora da qualidade do aprendizado foi 7,03 (valor inferior ao dos alunos usuários do PROUNI), numa escala que variou de zero a 10. O menor valor foi 6,18 (valor inferior ao dos alunos usuários do PROUNI) e o maior 8,29 (valor inferior ao dos alunos usuários do PROUNI), com desvio-padrão 0,51 (valor inferior ao dos alunos usuários do PROUNI) denotando maior homogeneidade nesse grupo de aprendizes que dentre os usuários do PROUNI.

Com respeito aos impactos institucionais da qualidade da participação do alunado formado na IES e os resultados obtidos ENADE pelo seu respectivo curso, observou-se que a média aritmética foi 3,13 (valor inferior ao dos alunos usuários do PROUNI) 3,30, numa escala que pode variar de um a cinco. O menor valor foi dois e o maior quatro, com desvio-padrão 0,57 (valor inferior ao dos alunos usuários do PROUNI) denotando maior homogeneidade dos componentes desse grupo específico.

Finalmente, no tocante ao tempo de formação, observou-se que a média aritmética foi 4,67 anos (valor superior ao dos alunos usuários do PROUNI). O menor valor foi dois e o maior dez anos (valores superiores aos dos alunos usuários do PROUNI), com desvio-padrão 1,10 (valor similar ao dos usuários do PROUNI), denotando certa heterogeneidade dos componentes desse grupo.

No que tange aos não usuários do PROUNI, a Tabela 3 apresenta informações acerca dos 82 alunos que possuem Financiamento Estudantil (FIES).

Tabela 3
Valores dos Atributos para os Não Usuários do PROUNI (FIES)

Atributos		Qualidade do Aprendizado	Impacto Institucional	Tempo de Formação
Não Usuários (FIES) n = 82	Média	7,20	3,32	4,74
	Desvio padrão	0,56	0,49	1,20
	Mínimo	6,14	2	3
	Máximo	8,63	4	8

• Fonte: Pesquisa Direta (2018).

Conforme indicam os dados, dentre os 82 não usuários do PROUNI (FIES), que representou a proporção de 8,9% da população estudada, a média aritmética reveladora da qualidade do aprendizado foi 7,20 (valor inferior ao dos alunos usuários do PROUNI), numa escala que variou de zero a 10. O menor valor foi 6,14 (valor inferior ao dos alunos usuários do PROUNI) e o maior 8,63 (valor superior ao dos alunos usuários do PROUNI), com desvio-padrão 0,56 (valor inferior ao dos alunos usuários do PROUNI) denotando maior homogeneidade nesse grupo de aprendizes.

No que tange aos impactos institucionais da qualidade da participação do alunado formado na IES e os resultados obtidos ENADE pelo seu respectivo curso, observou-se que a média aritmética foi 3,32 (valor similar ao dos alunos usuários do PROUNI), numa escala que pode variar de um a cinco. O menor valor foi dois e o maior quatro, com desvio-padrão 0,49 (valor inferior ao dos alunos usuários do PROUNI) denotando maior homogeneidade dos componentes desse grupo.

Para concluir, com respeito ao tempo de formação, observou-se que a média aritmética foi 4,74 anos (valor superior ao dos alunos usuários do PROUNI). O menor valor foi três e o maior oito anos (valores superiores aos dos alunos usuários do PROUNI), com desvio-padrão 1,20 (valor superior ao dos usuários do PROUNI), denotando heterogeneidade dos componentes desse grupo.

O último subgrupo dentre os não usuários do PROUNI é formado pelo alunado que financiou a sua própria formação, conforme a Tabela 4, que apresenta informações acerca dos 699 alunos desse grupo.

Tabela 4
Valores dos Atributos para os Não Usuários do PROUNI (financiamento próprio)

Atributos		Qualidade do Aprendizado	Impacto Institucional	Tempo de Formação
Não Usuários (financiamento próprio) n = 699	Média	7,26	3,10	5,30
	Desvio padrão	0,58	0,61	1,80
	Mínimo	5,89	2	0
	Máximo	8,82	4	14

• Fonte: Pesquisa Direta (2018).

Segundo os dados, dentre os 699 não usuários do PROUNI (financiamento próprio), que representou a expressiva proporção de 75,6% da população estudada, a média aritmética reveladora da qualidade do aprendizado foi 7,26 (valor inferior ao dos alunos usuários do PROUNI), numa escala que variou de zero a 10. O menor valor foi 5,89 (valor inferior ao dos alunos usuários do PROUNI) e o maior 8,82 (valor superior ao dos alunos usuários do PROUNI), com desvio-padrão 0,58 (valor inferior ao dos alunos usuários do PROUNI) denotando certa homogeneidade nesse grupo de aprendizes.

Em relação aos impactos institucionais da qualidade da participação do alunado formado na IES e os resultados obtidos no ENADE pelo seu respectivo curso, observou-se que a média aritmética foi 3,10 (valor inferior ao dos alunos usuários do PROUNI), numa escala que pode variar de um a cinco. O menor valor foi dois e o maior quatro, com desvio-padrão 0,61 (valor superior ao dos alunos usuários do PROUNI) denotando, ainda assim, certa homogeneidade desse grupo específico.

Finalmente, no que diz respeito ao tempo de formação, observou-se que a média aritmética foi 5,30 anos (valor superior ao dos alunos usuários do PROUNI). O menor valor foi inferior a um e o maior resultou em 14 anos (este último muito superior ao obtido pelos alunos usuários do PROUNI), com desvio-padrão 1,80 (valor superior ao dos usuários do PROUNI), denotando heterogeneidade desse grupo.

9.2.1 Análises inferenciais

Para certificar-se da existência de diferenças significativas nos valores médios dos atributos estudados nos dois grupos de comparação (usuários do PROUNI e não usuários do PROUNI), empregou-se o Teste da Análise de Variância (ANOVA), proposto originalmente pelo biólogo e estatístico Ronald Fisher, em 1918 (TABACHNICK; FIDELL, 2007), cujos resultados são apresentados a seguir, na Tabela 5.

Tabela 5
Resultados do Teste ANOVA sobre os atributos considerados na pesquisa

Atributos			Soma dos Quadrados	df	Quadrado Médio	F	P
Qualidade do Aprendizado	Entre Grupos	(Combinado)	134200,406	3	44733,469	13,749	0,000
	Nos grupos		2993206,221	920	3253,485
	Total		3127406,627	923
Impacto Institucional	Entre Grupos	(Combinado)	4,752	3	1,584	4,528	0,004
	Nos grupos		321,874	920	0,350
	Total		326,627	923
Tempo de Formação	Entre Grupos	(Combinado)	100,688	3	33,563	12,055	0,000
	Nos grupos		2561,497	920	2,784
	Total		2662,185	923

• Fonte: Pesquisa Direta (2018).

Observa-se que, no que tange ao atributo Qualidade do Aprendizado, o Teste ANOVA revelou o valor F = 13,749 (p < 0,01) indicando, desse modo, que as médias dos usuários do PROUNI (µ = 7,68; dp = 0,57) foram significativamente distintas do valor dos não usuários (µ = 7,16; dp = 0,55). Assim sendo, pode-se inferir que os alunos do PROUNI apresentaram maior Qualidade de Aprendizado do que os seus pares não usuários do PROUNI, pois as suas médias foram superiores.

Em segundo lugar, no que se refere ao atributo Impacto Institucional, o Teste ANOVA revelou o valor F = 4,528 (p < 0,01) indicando, assim, que as médias dos usuários do PROUNI (µ = 3,30; dp = 0,59) foram significativamente distintas do valor dos não usuários do PROUNI (µ = 3,18; dp = 0,55). Assim sendo, pode-se inferir que os alunos do PROUNI apresentaram maior Impacto Institucional do que os seus pares não usuários do PROUNI, pois as suas médias foram superiores.

Para finalizar, no que se refere ao atributo Tempo de Formação, o Teste ANOVA revelou o valor F = 12,055 (p < 0,01) indicando, assim, que as médias dos usuários do PROUNI (µ = 4,13; dp = 1,12) foram significativamente distintas do valor dos não usuários do PROUNI (µ = 4,90; dp = 1,16). Assim sendo, pode-se inferir que os alunos do PROUNI apresentaram menor Tempo de Formação do que os seus pares não usuários do PROUNI, pois as suas médias foram inferiores.

9.2.2 Síntese avaliativa dos resultados

Os resultados obtidos demonstraram de modo científico, válido e fidedigno que:

1. Os usuários do PROUNI apresentaram maior Qualidade de Aprendizado do que os seus pares não usuários;

2. Os usuários do PROUNI apresentaram maior Impacto Institucional do que os seus pares não usuários;

3. Os usuários do PROUNI apresentaram menor Tempo de Formação do que os seus pares não usuários.

Os excelentes resultados corroboram,em certa medida, com a opinião de outros estudiosos, como Costa e Ferreira (2017), que destacaram ser o PROUNI uma Política Pública que propicia o preenchimento de vagas ociosas geradas pela falta de alunos nas IES privadas, além deinduzir o atendimento de um público que sequer ingressaria em IES privadas, haja vista as restrições financeiras para arcar com suas respectivas mensalidades.

Matos (2007) corrobora com os resultados obtidos no presente estudo ao destacar que o PROUNI possibilita resultados satisfatórios para o Governo Federal, quando promove a inclusão social e a qualidade do ensino, atende as demandas de alunos carentes e busca alcançar as metas do Plano Nacional de Educação (PNE). Prossegue destacando que os ganhos para as IES se dão quando o PROUNI permite a diminuição da ociosidade de vagas e facilita o investimento em novos cursos.

Outroganho substantivo, realçada por Ristoff (2014), está na democratização do acesso e da transformação do perfil dos alunos universitários, visto que os usuários do PROUNI são oriundos de escolas públicas. O ensino superior representa para esses estudantes carentes economicamente e educacionalmente um investimento para ampliar suas chances no mercado de trabalho cada vez mais competitivo, consoante Andriola (2004a, 2004b).Porém, ao avaliar suas condições objetivas, a escolha do curso geralmente recaia naqueles menos concorridos, que, segundo estimam os próprios candidatos, proporcionam maiores chances de aprovação, conforme ponderou Zago (2006).

Os excelentes resultados demonstrados através do presente estudo fortalecem a visão de que os usuários do PROUNI estão a induzir mudanças substantivas nos cursos de graduação, através dos aprendizados qualificados e da empregabilidade alcançada com a formação superior, embora haja necessidade de se verificar se tal fato também está a ocorrer em cursos de alta demanda social, conforme o posicionamento de Andriola (2014) e de Araújo (2015).

9.3 Estudo 2- Nível de satisfação com a formação e nível de empregabilidade: análise comparativa entre usuários e não usuários do PROUNI

Trata-se de um estudo descritivo, de natureza qualitativa e quantitativa, que tem a pretensão de gerar novas informações acerca da realidade acadêmica do UNIGrande, a partir das opiniões dos egressos dos cursos presenciais de graduação (KERLINGER; LEE, 2000).

9.3.1 População e amostra

A população da pesquisa constituiu-se de 250 alunos egressos dos cursos presenciais de graduação do UNIGrande, diplomados no semestre letivo 2018.2, enquanto a amostra estudada compreendeu 88 egressos, o que correspondeu a 35,2% do universo.

9.3.2 Instrumento de coleta dos dados primários

O Questionário Voltado dos Egressos (QVE) do UNIGrande foi especialmente desenvolvido para captar as opiniões dos alunos acerca da realidade e da qualidade acadêmica do curso, a partir de aspectos tais como: corpo docente, infra-estrutura do curso, gestão acadêmica do curso, biblioteca e acervo, necessidade de aprofundar a formação, empregabilidade e expectativas de exercício profissional. Além destas informações, o referido instrumento coleta dados relativos ao curso, a idade e o gênero dos alunos, bem como o tipo de financiamento que o egresso utilizou durante a formação, tais como Bolsa do PROUNI, o FIES ou outra modalidade aceita pelo UNIGrande.

9.3.3 Procedimento de coleta dos dados primários

Os dados foram coletados a partir da aplicação do QVE durante três reuniões realizadas pelo setor institucional de Controle Acadêmico durante o semestre letivo 2018.2. Após a explanação do que se tratava e dos objetivos do estudo, solicitou-se que os presentes preenchessem o QVE com as informações necessárias ao estudo.

9.3.4 Caracterização da amostra

9.3.4.1 Aspectos demográficos

A faixa etária dos egressos do estudo compreendeu o valor mínimo de 19 e o máximo de 64 anos, com média aritmética 30,6 anos e desvio-padrão 9,5 anos, sendo a moda 26 anos (n = 9 ou 10,2%). Quanto ao gênero, a maioria dos partícipes compunha o grupo masculino (n = 50 ou 56,8%), enquanto a minoria era da categoria feminina (n = 38 ou 43,2%). Convém destacar que a expressiva maioria dos alunos informou exercer alguma atividade remunerada (n = 66 ou 75%), enquanto grupo minoritário ainda não possuía nenhum vínculo empregatício remunerado (n = 22 ou 25%). Ressalte-se que em 46,6% dos casos de egressos com vínculo empregatício formal (n = 41) o curso no qual receberam formação tem total aderência com a atividade laboral desempenhada, o que acentua a excelência da formação brindada pelo UNIGrande aos seus alunos.

No que concerne ao tipo de financiamento que o egresso utilizou para custear a sua formação, metade (n = 44) informou ter sido o FIES, enquanto grupo menor (n = 13 ou 14,8%) asseverou ter sido o PROUNI. Os demais egressos (n = 27 ou 35,2%) adotaram outras formas de financiamento para custear a formação de graduação, no UNIGrande.

9.3.5 Resultados principais

Nesta seção são apresentados os principais resultados do estudo que objetivou averiguar o nível de satisfação dos alunos usuários do PROUNI acerca da percepção da qualidade formação recebida em nível de graduação, a partir das opiniões dos egressos do semestre letivo de 2018.2 de cursos presenciais. Na Tabela 6 há dados acerca da opinião sobre a utilidade das temáticas abordadas nas disciplinas para o exercício profissional.

Tabela 6
Temáticas úteis ao exercício profissional

		Frequência	Percentual	Percentual válido	Percentual acumulado
Usuários do PROUNI	Sim	13	100,0	100,0	100,0
	Não	0	0,0	0,0
	Total	13	100,0	100,0
Demais alunos	Sim	72	96,0	96,0	96,0
	Não	3	4,0	4,0	100,0
	Total	75	100,0	100,0

• Fonte: Pesquisa Direta (2018).

Observa-se que a totalidade de alunos do PROUNI opinou que as diversas temáticas abordadas durante a formação (n = 13 ou 100%) foram úteis ao exercício profissional, em comparação aos demais alunos (n = 72 ou 96%). Essa discrepância observada entre os dois grupos não foi significativa, pois χ² _{(1; 86)} = 0,53(p >0,01).

Os resultados obtidos corroboram com os encontrados por Felicetti, Cabrera e Morosini (2014), sobretudo no que tange à qualidade da formação, pois, conforme acentuaram:

[...] a formação em nível superior lhes permitiu melhor colocação no mercado de trabalho, evidenciando a inclusão na sociedade, a satisfação, a qualidade de vida, a influência e incentivo que esse novo perfil de graduados está desencadeando no meio familiar e no entorno de seu dia a dia. Assim, os respondentes estão relatando os retornos e benefícios do programa não somente em âmbito pessoal, mas também para a sociedade (p. 36).

Na Tabela 7, apresentada mais adiante, há informações oriundas da opinião discente sobre a eficácia da formação obtida em nível de graduação, ante as exigências profissionais do mercado de trabalho.

Tabela 7
Eficácia da formação obtida ante as exigências profissionais

		Frequência	Percentual	Percentual válido	Percentual acumulado
Alunos do PROUNI	Sim	10	76,9	76,9	76,9
	Não	3	23,1	23,1	100,0
	Total	13	100,0	100,0
Demais alunos	Sim	52	69,3	69,3	69,3
	Não	23	30,7	30,7	100,0
	Total	75	100,0	100,0

• Fonte: Pesquisa Direta (2018).

A expressiva maioria de alunos do PROUNI reconheceu haver eficácia na formação recebida, ante as exigências profissionais do mercado de trabalho (n = 10 ou 76,9%), assim como os demais alunos (n = 52 ou 69,3%). Essa discrepância observada entre os dois grupos de alunos não foi significativa, pois χ² _{(1; 86)} = 0,31(p >0,01).

Uma vez mais os resultados fortalecem os achados de Felicetti, Cabrera e Morosini (2014), que realçaram a eficácia da formação dos alunos do PROUNI ao acentuar:

Pode-se, então, ver o programa como um agente que contribui para transformação da educação superior no Brasil, uma vez que oportuniza o acesso de grupos minoritários a esse nível de ensino, bem como contempla as exigências laborais do mercado de trabalho, pois a maioria dos graduados encontra-se atuando na área de formação. Isso significa dizer que houve equilíbrio entre a demanda e a oferta laboral. Entretanto, o sucesso do programa depende de todos os envolvidos nele, em especial, o comportamento do protagonista, ou seja, seu comprometimento, pois afinal, só aprende quem quer aprender, só aproveita as oportunidades quem quer deixar de ser o “diferente” para fazer a diferença na universidade e na sociedade (p. 37).

Na Tabela 8, apresentada abaixo, há informações oriundas da opinião discente referente à satisfação com a formação obtida em nível de graduação.

Tabela 8
Satisfação discente com a formação obtida

		Frequência	Percentual	Percentual válido	Percentual acumulado
Alunos do PROUNI	Sim	10	76,9	76,9	76,9
	Não	3	23,1	23,1	100,0
	Total	13	100,0	100,0
Demais alunos	Sim	49	65,3	65,3	65,3
	Não	26	34,7	34,7	100,0
	Total	75	100,0	100,0

• Fonte: Pesquisa Direta (2018).

A expressiva maioria de alunos do PROUNI asseverou estar satisfeita com a formação recebida em nível de graduação (n = 10 ou 76,9%), assim como os demais alunos (n = 51 ou 65,3%). Essa pequena discrepância observada entre os dois grupos de alunos não foi significativa estatisticamente, pois χ² _{(1; 86)} = 0,67(p > 0,01).

Os resultados aqui obtidos corroboram com os achados no estudo de Felicetti e Cabrera (2017), efetivado junto a egressos de uma Instituição Comunitária do Sul do Brasil, cujos resultados não apontaram diferenças significativas entre a satisfação com a formação dos alunos usuários do PROUNI em contraste com outras modalidades de alunos.

Na Tabela 9, apresentada mais adiante, há informações oriundas da opinião discente referente ao interesse em aprofundar os conhecimentos obtidos.

Tabela 9
Interesse em aprofundar os conhecimentos obtidos

		Frequência	Percentual	Percentual válido	Percentual acumulado
Alunos do PROUNI	Sim	11	84,6	84,6	84,6
	Não	2	15,4	15,4	100,0
	Total	13	100,0	100,0
Demais alunos	Sim	74	98,7	98,7	98,7
	Não	1	1,3	1,3	100,0
	Total	75	100,0	100,0

• Fonte: Pesquisa Direta (2018).

Observa-se que a expressiva maioria de alunos do PROUNI asseverou ter interesse em aprofundar os conhecimentos obtidos em nível de graduação (n = 11 ou 84,6%), assim como os demais alunos (n = 74 ou 98,7%). Essa discrepância observada entre os dois grupos de alunos foi significativa estatisticamente, pois χ² _{(1; 86)} = 6,64 (p < 0,01). Assim sendo, os alunos que não são do PROUNI demonstraram maior interesse em aprofundar os conhecimentos obtidos. Provavelmente porque os alunos do PROUNI tenham o desejo imediato de inserir-se no mercado de trabalho, desempenho suas respectivas profissões, de modo a contribuir economicamente com os familiares.

Tais resultados vão de encontro aos obtidos por Felicetti e Cabrera (2017), que apontaram maior proporção de alunos do PROUNI em busca de outra graduação e de uma especialização (lato sensu). Na ocasião, Felicetti e Cabrera (2017) destacaram:

Tais dados parecem indicar o desenvolvimento do gosto pelo estudar, isto é, o desenvolvimento de um capital cultural por um perfil da população que sem a bolsa não teria tido condições de realizar estudos de nível superior. Isto representa um novo grupo de pessoas [...] possuidoras de um “tesouro” que é a experiência a ser transmitida pela família aos seus filhos. Classes essas que são detentoras do gosto, do estilo e do espírito da escolaridade, o qual começa a ser desenvolvido entre um novo grupo da população brasileira. Portanto, pessoas oriundas grupos em desvantagens iniciais passam a se beneficiar da cultura escolar e, em extensão, isso pode ser desenvolvido entre seus descendentes, uma vez que passam a aprender a jogar as regras do jogo dos mais socialmente educados (p. 880).

9.3.5.1 Síntese avaliativa dos resultados

Como se pode averiguar, a diferença existente entre alunos do PROUNI em contraste com as opiniões dos demais alunos centrou-se, unicamente, no maior interesse demonstrado pelos aprendizes que não são do PROUNI em aprofundar os conhecimentos obtidos na graduação. Tal constatação pode ser explicada, muito provavelmente, pelo fato de os alunos do PROUNI da amostra estudada possuírem o desejo imediato de inserir-se no mercado de trabalho, de modo a gerar renda para as respectivas famílias, através do desempenho de suas respectivas profissões. Por outro lado, não se encontrou diferenças estatisticamente significativas entre as opiniões dos alunos do PROUNI em comparação com os demais aprendizes nos demais aspectos abordados.

10 Principais conclusões

Inicialmente, cumpre destacar que diversos outros usuários podem se valer das descobertas da avaliação: gerentes de programas similares e/ou de diferentes níveis governamentais; agentes do governo e representantes de fundações, interessados em conhecer projetos bem-sucedidos que mereçam financiamento ou preocupados em aprimorar os programas dos quais são responsáveis; membros do Legislativo interessados na melhoria de programas existentes ou na elaboração de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas.

Não obstante, o interessado final é o público em geral e a sociedade civil, de modo a assegurar que o governo seja accountable for. Dessa forma, os relatórios das avaliações podem servir tanto para divulgação, quanto para fomento do debate público em torno das alternativas de intervenção governamental em uma dada realidade social. Por outro lado, os resultados da análise comparativa entre usuários e não usuários do PROUNI demonstraram que: (i) os usuários do PROUNI apresentaram maior Qualidade de Aprendizado do que os seus pares não usuários [F = 13,749; p < 0,01]; (ii) os usuários do PROUNI apresentaram maior Impacto Institucional do que os seus pares não usuários [F = 4,528; p < 0,01]; (iii) os usuários do PROUNI apresentaram menor Tempo de Formação do que os seus pares não usuários [F = 12,055 (p < 0,01]; (iv) os usuários do PROUNI demonstraram satisfação com a formação recebida e reconheceram a eficácia desta, ante as exigências profissionais do mercado de trabalho, não tendo sido detectada diferença significativa com os não usuários do PROUNI [χ2(1; 86) = 0,67; p > 0,01); (v) os usuários do PROUNI demonstraram maior desejo de inserirem-se imediatamente no mercado de trabalho, de modo a gerar renda para as respectivas famílias através do exercício profissional, ao contrário dos não usuários do PROUNI, cuja diferença foi captada pelo Teste Qui-Quadrado [χ2(1; 86) = 6,64; p < 0,05].

Os resultados são inequívocos quanto aos benefícios sociais e educacionais proporcionados pela Política Pública rotulada PROUNI. Sob sua relevante ação, a oferta de oportunidades de acesso a serviços e bens, através de um sistema que beneficia a todos, tem incrementado a inclusão social sob o viés do acesso e da permanência na Educação Superior, fortalecida e garantida pela concessão da bolsa PROUNI. Os egressos usuários do PROUNI assim testemunharam, no decorrer da pesquisa, que ora é descrita.

Finalizamos a pesquisa realçando o posicionamento, ipsis literis, de um entusiasta do poder transformador da Educação Superior, Dias Sobrinho (2018), que discorreu acerca das suas funções vitalizante e transformadora, sobretudo em tempos de intempéries sociais e incertezas educacionais:

A esperança dá sentido à educação e anima os desejos e lutas por um futuro melhor. Alimentada pela esperança, a educação é um instrumento que pode conferir substância aos sonhos, dar sentido ao princípio da libertação humana, instituir o homem em sua busca natural de superação das indigências existenciais e sociais e dos anseios de ampliação da liberdade. Alicerça a formação moral e o desenvolvimento intelectual e social. Fornece as bases cognitivas, ético-morais, políticas e estéticas para a inserção e a participação consciente do indivíduo numa comunidade de comunicação e ação, numa cultura de tradições, disputas e consolidação de valores que identificam e constituem uma determinada formação societária. Enfim, ainda que jamais de modo plenamente satisfatório, ao fluir da história, pela educação o homem vem se capacitando a instituir o conhecimento e os saberes produzidos no processo civilizatório de superação da visão mágica da vida (DIAS SOBRINHO, 2018, p. 737).

Referências

• ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-59, out./dez. 2000.
• ANDRIOLA, Wagner Bandeira. Evaluación: la vía para la calidad educativa. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v.7, n. 25, p. 355-368, 1999.
• ANDRIOLA, Wagner Bandeira. Calidad educativa y efectividad escolar: conceptos y características. Educação em Debate, Fortaleza, v. 1, n. 39, p. 7-14, 2000.
• ANDRIOLA, Wagner Bandeira. Avaliação da aprendizagem: conceitos, dados, problemas e perspectivas. Psicologia Argumento, Curitiba, v. 22, n. 39, p. 45-55, 2004a.
• ANDRIOLA, Wagner Bandeira. Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional. Avaliação, Campinas; Sorocaba, v. 9, n.4, p. 33-54, 2004b. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/1286 Acesso em: 15 mar. 2019.
  » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/1286
• ANDRIOLA, Wagner Bandeira. Propostas estatais voltadas à avaliação do ensino superior brasileiro: breve retrospectiva histórica do período 1983-2008. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 6, n. 4, p. 127-148, 2008.
• ANDRIOLA, Wagner Bandeira. Estudo de egressos de cursos de graduação: subsídios para a autoavaliação e o planejamento institucionais. Educar em Revista, Curitiba, n. 54, p. 203-220, 2014.
• ANDRIOLA, Wagner Bandeira; ARAÚJO, Adriana de Castro. Potencialidades da avaliação Formativa e Somativa. Revista Eletrônica Acta Sapientia, Fortaleza, v. 5, p. 1-15, 2018.
• ANDRIOLA, Wagner Bandeira; GOMES, Carlos Adriano. Programa um computador por aluno (PROUCA): uma análise bibliométrica. Educar em Revista, Curitiba, n. 63, p. 267-288, 2017.
• ANDRIOLA, Wagner Bandeira; OLIVEIRA, Karla Roberta Brandão. Autoavaliação institucional na Universidade Federal do Ceará (UFC): meio século de história. Avaliação, Campinas; Sorocaba, v. 20, p. 489-512, 2015. Disponível em: Disponível em: https://www.scielo.br/scielo.php?script=sci_abstract&pid=S1414-40772015000200489&lng=en&nrm=iso&tlng=pt Acesso em: 15 mar. 2019.
  » https://www.scielo.br/scielo.php?script=sci_abstract&pid=S1414-40772015000200489&lng=en&nrm=iso&tlng=pt
• ANDRIOLA, Wagner Bandeira; SULIANO, Daniele Cirilo. Avaliação dos impactos sociais oriundos da interiorização da Universidade Federal do Ceará (UFC). Revista Brasileira de Estudos Pedagógicos, Brasília, v. 96, n. 243, p.282-298, 2015.
• ARAÚJO, Adriana Castro. Avaliação do Programa Institucional de Bolsa de Iniciação à Docência (PIBID) da Universidade Federal do Ceará (UFC) na perspectiva dos egressos. 2015 Dissertação (Mestrado em Políticas Públicas e Gestão da Educação Superior) - Universidade Federal do Ceará, Fortaleza, 2015.
• ARAÚJO, Adriana Castro; ANDRIOLA, Wagner Bandeira; COELHO, Afrânio de Araújo. Programa Institucional de Bolsa de Iniciação à Docência (PIBID): desempenho de bolsistas versus não bolsistas. Educação em Revista, Belo Horizonte, v. 34, e172839, 2018.
• BLANKENBERG, Francis. The Role of planning, monitoring and evaluation. The Hague: Novib, 1995.
• BOURGUIGNON, François; FERREIRA, Francisco; LEITE, Phillippe. Conditional cash transfers, schooling, and child labor: micro-simulating Brazil’s Bolsa Escola Program. The World Bank Economic Review, New York, v. 17, n. 2, p. 229-254, 2003.
• BRASIL. Lei nº 11.096, em 13 de janeiro de 2005. Programa Universidade para todos - PROUNI. Brasília: Presidência da República, 2005. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2005/lei/l11096.htm Acesso em: 25 fev. 2019.
  » http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2005/lei/l11096.htm
• CAPUCHA, Luís; ALMEIDA, João; PEDROSO, Paulo; SILVA, José. Metodologias de avaliação: o estado da arte em Portugal. Sociologia: problemas e práticas, Lisboa, v. 22, p. 9-27, 1996.
• CARVALHO, Soniya; WHITE, Howard. Performance indicators to monitor poverty reduction. Washington, DC: World Bank, 1995.
• COSTA, Danielle Dias; FERREIRA, Norma-Iracema de Barros. O PROUNI na Educação Superior brasileira: indicadores de acesso e permanência. Avaliação, Campinas; Sorocaba, v. 22, n. 1, p. 141-163, 2017. Disponível em: Disponível em: https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772017000100141&lng=pt&nrm=iso&tlng=pt Acesso em: 15 mar. 2019.
  » https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772017000100141&lng=pt&nrm=iso&tlng=pt
• COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (Saeb). Revista do Serviço Público, Brasília, v. 52, n. 4, p. 89-110, out./dez. 2001.
• DIAS SOBRINHO, José. Universidade em tempos de precarização e incertezas. Avaliação, Campinas; Sorocaba, v. 23, n. 3, p. 736-753, 2018. Disponível em: Disponível em: https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772018000300736&lng=en&nrm=iso&tlng=pt Acesso em: 15 mar. 2019.
  » https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772018000300736&lng=en&nrm=iso&tlng=pt
• FARIA, Carlos Aurélio P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, 2005.
• FELICETTI, Vera Lúcia; CABRERA, Alberto. Resultados da Educação Superior: o PROUNI em foco. Avaliação, Campinas; Sorocaba, v. 22, n. 03, p. 871-893, 2017. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772017000300871&script=sci_abstract&tlng=pt Acesso em: 15 mar. 2019.
  » https://www.scielo.br/scielo.php?pid=S1414-40772017000300871&script=sci_abstract&tlng=pt
• FELICETTI, Vera Lúcia; CABRERA, Alberto; MOROSINI, Marília Costa. Aluno ProUni: impacto na instituição de educação superior e na sociedade. Revista IberoAmericana de Educación Superior, Santiago de Chile, v. 5, n. 13, p. 21-39, 2014.
• FREY, Klaus. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259, 2000.
• GARCIA, Ronaldo Coutinho. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília, n. 23, p. 7-70, jan./jun. 2001.
• KERLINGER, Fred Nichols; LEE, Howard. Foundations of behavioral research. Orlando: Harcourt College Publishers, 2000.
• MATOS, Nei Carlos Moraes. Uma abordagem integrada entre QFD e gestão por processos na oferta de bolsas e seleção do PROUNI. 2007 Dissertação (Mestrado em Engenharia de Produção) - Universidade Federal de Santa Maria, Santa Maria, 2007.
• MOKATE, Karen Marie. Convirtiendo el “monstruo” en aliado: la evaluación como herramienta de la gerencia social. Revista do Serviço Público, Brasília, v. 53, n. 1, p. 89-131, 2002.
• PACHECO, Eliezer; RISTOFF, Dilvo I. Educação Superior: democratizando o acesso. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais (INEP), 2004.
• PEREIRA FILHO, Ednaldo da Silva. Perfil de jovens universitários bolsistas PROUNI: um estudo de caso na UNISINOS. 2011 Tese (Doutorado em Ciências Sociais) - Universidade do Vale do Rio dos Sinos, São Leopoldo, 2011.
• RISTOFF, Dilvo Ivo. O novo perfil do campus brasileiro: uma análise do perfil socioeconômico do estudante de graduação. Avaliação, Campinas; Sorocaba, v. 19, n. 3, p. 723-747, 2014. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772014000300010&script=sci_abstract&tlng=pt Acesso em: 15 mar. 2019.
  » https://www.scielo.br/scielo.php?pid=S1414-40772014000300010&script=sci_abstract&tlng=pt
• ROCHA, Arlindo Carvalho. Accountability na Administração Pública: modelos teóricos e abordagens. Contabilidade, Gestão e Governança, Brasília, v. 14, n. 2, p. 82-97, 2011.
• SCRIVEN, Michael. Evaluation as a discipline. Studies in Educational Evaluation, New York, v. 20, p. 147-166, 1994.
• SHADISH JUNIOR, William; COOK, Thomas; LEVITON, Laura. Foundations of program evaluation: theories of practice. Londres: SAGE, 1991.
• SILVA, Francisco C. M.; LIMA, Alberto S.; ANDRIOLA, Wagner Bandeira. Avaliação do suporte de TDIC na formação do pedagogo: Um estudo em Universidade Brasileira. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 14, n. 3, p. 77-93, 2016.
• SILVA, Pedro Luiz Barros; COSTA, Nilson do Rosário. A avaliação de programas públicos: reflexões sobre a experiência brasileira. Brasília: IPEA, 2002.
• SOUSA, Ana Cléa Gomes; ANDRIOLA, Wagner Bandeira; LIMA, Alberto Sampaio. Expectativas da Avaliação Docente na Educação Superior Brasileira. Um Estudo com os Envolvidos em uma Instituição de Ensino Pública. Revista Iberoamericana de Evaluación Educativa, Santiago do Chile, v. 9, n. 2, p. 81-105, 2016.
• SOUZA, Celina. “Estado do campo” da pesquisa em políticas públicas no Brasil. Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 15-20, 2003.
• TABACHNICK, Barbara G.; FIDELL, Linda S. Using multivariate statistics. Boston: Pearson International Edition, 2007.
• TREVISAN, Andrei Pittol; BELLEN, Hans Michel van. Avaliação de Políticas Públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3, p. 529-550, 2008.
• THERRIEN, Jacques; HAGE SOBRINHO, Jorge Hage. Avaliação institucional em Universidades: considerações metodológicas. Educação em Debate, Fortaleza, v. 6, n. 2, p. 17-27,1983
• THERRIEN, Jacques; HAGE SOBRINHO, Jorge Hage. Avaliação institucional em Universidades: considerações metodológicas. Educação em Debate, Fortaleza, v. 7, n. 1, p. 17-27, 1984.
• THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de gestão pública. Revista do Serviço Público, Brasília, v. 51, n. 2, p. 54-70, abr./jun. 2000.
• ZAGO, Nadir. Do acesso à permanência no Ensino Superior: percursos de estudantes universitários de camadas populares. Revista Brasileira de Educação, Rio de Janeiro, v. 11, n. 32, maio/ago. 2006.

• 0
  1

  Legislação disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2005/lei/l11096.htm. Acesso em 25/02/2019.

Datas de Publicação

• Publicação nesta coleção
  18 Nov 2020
• Data do Fascículo
  Sep-Dec 2020

Histórico

• Recebido
  19 Mar 2019
• Aceito
  01 Jun 2020