Uso dos resultados da autoavaliação institucional pelos gestores da Universidade de Brasília

Use of institutional self-assessment results by University of Brasilia managers

Resumos

Este estudo aborda o tema avaliação de políticas e programas. Justifica-se diante da crença nacional de linearidade entre a realização de uma avaliação e o uso de seus resultados. O programa selecionado é a Autoavaliação Institucional (AAI), componente do Sinaes. A instituição selecionada, UnB, foi uma das pioneiras no campo da AAI, cuja experiência serviu de referência para a construção de políticas nacionais posteriores, como o atual Sinaes. Os objetivos específicos desta pesquisa foram: 1) descrever os facilitadores e barreiras no uso dos resultados da AAI da UnB sob a ótica de gestores, e 2) verificar se existem relações entre facilitadores e barreiras e os tipos de uso dos resultados pelos gestores. Os dados foram coletados através de um questionário e analisados através de análise de conteúdo e estatística descritiva e inferencial. Os resultados obtidos permitiram identificar as variáveis como potenciais barreiras ao uso dos resultados pelos gestores, revelando amplo foco de necessidades de melhorias e intervenções. A percepção de tais variáveis tem uma relação com o uso dos resultados da AAI, visto que gestores que avaliam tais variáveis mais como facilitadores são também aqueles que relatam o uso dos resultados. O presente estudo contribui ao preencher lacunas presentes no campo do uso de resultados de avaliação.

Palavras-chave:
Autoavaliação institucional; Uso dos resultados da avaliação; Universidade de Brasília

This study addresses the theme of policy and program evaluation. It is justified by the national belief in linearity between the performance of an evaluation and the use of its results. The selected program is the Institutional Self-Assessment (AAI), a component of Sinaes. The selected institution, UnB, was one of the pioneers in the field of AAI, whose experience served as a reference for the construction of subsequent national policies, such as the current Sinaes. The specific objectives of this research were: 1) to describe the facilitators and barriers in the use of the results of the AA of the UnB from the perspective of managers, and 2) to verify if there are relations between facilitators and barriers and the types of use of the results by the managers. Data were collected through a questionnaire and analyzed through content analysis and descriptive and inferential statistics. The results obtained allowed to identify the variables as potential barriers to the use of the results by the managers, revealing a wide focus of needs for improvements and interventions. The perception of such variables has a relation with the use of AAI results, since managers who evaluate such variables as facilitators are also those that report the use of the results. The present study contributes to filling gaps in the field of the use of evaluation results.

Key words:
Institutional self-assessment; Use of evaluation results; University of Brasília

1 Introdução

Este estudo aborda o tema da avaliação de programas, especificamente o uso dos seus resultados, campo de investigação iniciado na década de 1970, a partir do questionamento de Weiss (1988) quanto ao uso efetivo das avaliações para tomada de decisões e aperfeiçoamento dos programas avaliados. Sulbrandt (1993) concorda e destaca que a crítica mais forte feita à avaliação é que seus resultados não são utilizados para a tomada de decisões, o que levanta o questionamento da relevância da própria avaliação. No Brasil, os estudos de Serpa (2010) apontam a existência de uma crença nacional de que a relação entre a avaliação e o uso de seus resultados é linear, bastando a realização da primeira para garantir o cumprimento da segunda. Worthen, Sanders e Fitzpatrick (2004) apontam que a avaliação por si só não corrige problemas nem cria soluções, embora possa sugerir estas últimas, e destacam que a correção de problemas e elaboração de soluções cabe aos gestores, que podem ou não utilizar os resultados da avaliação para tomar decisões.

A Autoavaliação Institucional (AAI), um dos componentes do Sistema Nacional de Avaliação da Educação Superior (Sinaes), reflete uma visão interna da instituição. É um instrumento de autoconhecimento que pode estimular uma reflexão coletiva da Instituição de Ensino Superior (IES), por seus integrantes sobre diversos aspectos da instituição, incluindo a identificação de pontos fortes e fracos, problemas, fragilidades e potencialidades da IES. A AAI resulta em um relatório detalhado que deve conter análises, críticas e sugestões e configura-se como um importante instrumento para a tomada de decisão na medida em que concebe uma discussão coletiva sobre a instituição pelos sujeitos que a compõem, conferindo legitimidade, autonomia e significado a essa análise. Entretanto, o cenário identificado por Cunha (2010) revela que o uso formativo dos resultados da AAI representa um desafio para as IES brasileiras, pois é comum que esse processo se reduza a pesquisas de satisfação e controle do trabalho docente, contribuindo pouco para a gestão universitária. Gonçalves (2016) destaca o desconhecimento da AAI bem como da Comissão Própria de Avaliação (CPA) por representantes da comunidade acadêmica da UnB.

Considerando esse contexto, em especial o uso efetivo dos resultados da Autoavaliação Institucional, levanta-se a seguinte pergunta: como os resultados da Autoavaliação Institucional são utilizados pelos gestores da UnB? Foi estabelecido como objetivo geral da pesquisa Analisar o uso dos resultados da Autoavaliação Institucional da UnB pelos gestores. Para alcançar o objetivo geral, foram propostos os seguintes objetivos específicos: 1) Descrever os facilitadores e barreiras no uso dos resultados da AAI da UnB sob a ótica de gestores; e 2) Verificar se existem relações entre facilitadores e barreiras e os tipos de uso dos resultados pelos gestores.

Trata-se de um estudo de caso único, com enfoque profissional aplicado, exploratório e descritivo, que adotou recorte transversal e abordagem quali-quanti. A adoção por uma abordagem mista atende às recomendações de Leviton e Hughes (1981), Cousins e Leithwood (1986), Johnson et al. (2009) e Kallemeyn et al. (2015), para que sejam realizados estudos quantitativos sobre o uso de resultados das avaliações devido à predominância de pesquisas exclusivamente qualitativas nesse campo de estudo. Kallemeyn et al. (2015) aponta a forte predominância de estudos sobre metodologias de avaliação em detrimento de estudos voltados para o uso e valor das avaliações. Além disso, faz-se necessária a realização de estudos que problematizem o uso dos resultados da AAI pelas IES, uma vez que, segundo Ramos e Schabbach (2012), os estudos sobre avaliação, realizados no cenário nacional, privilegiam a metodologia e as formas de classificação, com poucos estudos sobre o uso dos resultados. Além disso, o estudo realizado por Cunha (2010) revela que a realização da AAI pelas IES não garante os efeitos esperados desta, ainda que sejam exigidos pela legislação em vigor, devido à dificuldade de analisar os efeitos decorrentes da realização da AAI visto que esta costuma ser conduzida separadamente dos processos de gestão.

O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) (BRASIL, 2011, p. 91) aponta que “é fundamental que os resultados da avaliação sejam efetivamente utilizados para a revisão de processos, estabelecimento de políticas e orientação de prioridades para a solução de problemas identificados”. Entretanto, apenas 37,2% dos relatórios analisados pelo referido Instituto indicam o uso dos resultados da AAI para o replanejamento, e destaca que o modelo de relatório de autoavaliação deve “funcionar como elemento de articulação entre o planejamento e avaliação” (p. 98).

Espera-se que os resultados dessa pesquisa promovam uma visão mais ampla sobre a utilização da AAI realizada na UnB e das variáveis que influenciam o uso dos resultados pelos gestores, contribuindo para o potencial formativo dos relatórios de autoavaliação. Portanto, os achados da pesquisa poderão embasar a elaboração de diretrizes e/ou alternativas para a condução da AAI na UnB e ampliar o uso dos seus resultados para melhorias na gestão.

2 Referencial Teórico

A definição de avaliação não é única. O conceito clássico de avaliação, utilizado neste estudo, foi proposto por Scriven (1967) e complementado pelo mesmo autor em 1994, de que a avaliação é o julgamento de importância, mérito ou valor. Worthen, Sanders e Fitzpatrick (2004, p. 98), definem avaliação como “uma intervenção planejada e constante que procura chegar a alguns resultados específicos em resposta a um problema educacional, social ou comercial detectado previamente”. Segundo o Fundo Nacional das Nações Unidas para a Infância (Unicef) (1990) e Costa e Castanhar (2003), avaliação é uma análise sistemática e objetiva, que busca determinar eficiência, efetividade, relevância e impacto de uma política, programa ou projeto. Nessa visão, a avaliação é uma ferramenta de gestão, de planejamento e de tomada de decisão de programas correntes e futuros (UNICEF, 1990).

No Brasil, a avaliação caracteriza-se por duas tendências principais: a primeira relaciona-se à regulação e controle enquanto a segunda relaciona-se à melhoria e mudança (BELLONI, 1999). Segundo a autora, a avaliação como política de regulação, deriva de uma concepção meritocrática, com foco no cumprimento de requisitos e normas. Essa tendência busca identificar e selecionar as “melhores” IES, que terão seu desempenho publicizado através de padrões de excelência (rankings), e cuja colocação nas listas hierárquicas de desempenho impacta diretamente seu financiamento - quanto “melhor” a IES mais recursos ela recebe e quanto “pior”, menos recursos.

Por outro lado, a avaliação como instrumento de melhoria e mudança deriva de uma concepção de efetividade científica e social da instituição. A avaliação busca a construção de qualidade e excelência de forma a obter melhoria institucional e desenvolvimento social por meio da educação. Nessa perspectiva, Belloni (1999, p. 37) afirma que “a avaliação é uma atividade que se caracteriza por traduzir um compromisso de ordem filosófica, social e política”. Portanto, a avaliação deve ser contextualizada, dialogando com o objeto a ser avaliado, seus pressupostos teóricos, suas articulações políticas e os atores envolvidos.

No campo da avaliação de programas implementados pelo governo, Silva (1999) relata que estes visam aferir a efetividade da política ou programa, compreender o modo como os resultados pretendidos são alcançados ou não, fundamentar o aprendizado organizacional e a tomada de decisão, além de possibilitar transparência e accountability. Para esse autor, os estudos de avaliação permitem tomadas de decisão que tornem o gasto público mais eficiente, e propiciam a superação de enforcamentos e a identificação de pontos fortes e fracos, favorecendo a sintonia entre a formulação e a implementação de políticas e programas. Costa e Castanhar (2003) apontam que o objetivo da avaliação de programas é orientar os tomadores de decisão quanto à continuidade, correções necessárias e/ou encerramento de determinada política ou programa. Já Ramos e Schabbach (2012) afirmam que a avaliação é um importante instrumento de melhoria da qualidade da gestão.

Considerando que a realização da avaliação não garante o uso dos seus resultados, Feinstein (2002) aponta dois fatores chave para o uso das avaliações: relevância, que significa o direcionamento da avaliação às necessidades dos usuários solicitantes e potenciais, e disseminação dos resultados através de meios que facilitem o acesso à avaliação. Nessa mesma direção, Contandripoulos (2006) postula que, quanto maior a pertinência, a fundamentação teórica e a credibilidade da avaliação, mais seus resultados serão utilizados pelas instâncias de decisão.

A fim de aprofundar o entendimento sobre a avaliação de programas são discutidos, brevemente, o uso ou utilização das avaliações, enfatizando-se a construção de um quadro de facilitadores e barreiras que influenciam o uso dos resultados pelos gestores.

2.1 Uso ou Utilização das Avaliações

O uso ou utilização é definido por Johnson et al. (2009, p. 378, tradução nossa) como a “aplicação do processo avaliativo, produtos ou resultados para produzir um efeito”. Para Shulha e Cousins (1997), o conceito de utilização não é unitário, mas um fenômeno multidimensional melhor descrito pela interação de três dimensões fundamentais: instrumental, conceitual e simbólica. Leviton e Hughes (1981), Shulha e Cousins (1997), Worthen, Sanders e Fitzpatrick (2004), Weiss et al. (2005), Johnson et al. (2009) e Costa e Castanhar (2003) definem assim essas dimensões:

1. Instrumental: uso direto das informações da avaliação, como orientação e/ou subsidio de mudanças e tomadas de decisão, sendo este o principal uso esperado pelos avaliadores;

2. Conceitual: uso indireto das informações da avaliação, que afetam o entendimento das pessoas gerando novas ideias ou conceitos; é educativo e cumulativo;

3. Simbólico: também chamado de persuasivo ou político, refere-se a quando a mera existência da avaliação é utilizada para legitimação de decisões e posicionamentos pré-estabelecidos.

O Quadro 1 apresenta a síntese das variáveis que afetam o uso, baseadas na revisão dos estudos de Leviton e Hughes (1981), Cousins e Leithwood (1986) e Johnson et al. (2009). Essas variáveis foram consideradas para orientar o presente estudo na investigação dos facilitadores e barreiras que influenciam a utilização dos resultados da AAI sob a ótica dos gestores da UnB. Os estudos sobre uso dos resultados da AAI nas IES são incipientes nas esferas acadêmica e organizacional e não foram identificados modelos e instrumentos específicos e testados para tal empreitada. Explorar e analisar essas informações são um passo fundamental para o avanço do conhecimento na área e futuro desenvolvimento de novas tecnologias que permitam testar sistematicamente modelos explicativos e intervir no contexto das organizações de interesse.

Quadro 1
Variáveis que afetam o uso dos resultados das avaliações

Variável	Descrição
Relevância	Pertinência da avaliação para as necessidades dos tomadores de decisão em termos de objetivos e localização organizacional do avaliador, avaliação contextualizada, atendimento às preferências dos usuários.
Tempestividade	Disseminação dos resultados da avaliação em tempo oportuno para sua utilização.
Qualidade da Comunicação	Clareza e frequência da apresentação dos resultados, defesa dos resultados pelo avaliador, amplitude da disseminação, comunicação contínua.
Informações concorrentes	Fontes externas à avaliação e que competem com as informações fornecidas por esta, como observação pessoal, staff, pares, dentre outros. Múltiplas fontes de informação, conhecimento do trabalho (experiências pessoais, crenças, valores, interesses, objetivos).
Resultados	Natureza dos resultados (positiva, negativa), consistência com as expectativas dos usuários, valor para os tomadores de decisão, achados práticos e conclusivos indicação de cursos de ação alternativos.
Credibilidade	Nível de confiança no avaliador e/ou no processo avaliativo e inclui objetividade, confiabilidade e adequação dos critérios de avaliação. Reputação do avaliador e coleta de dados inadequada.
Qualidade da avaliação	Características do processo avaliativo como sofisticação metodológica, rigor, tipo e modelo de avaliação.
Comprometimento e/ou receptividade à informação da avaliação	Atitudes dos usuários frente à avaliação, comprometimento com sua condução, resistência ou abertura organizacional.
Necessidade de informações	Necessidade de informação dos usuários, incluindo o tipo de informações necessárias, número de grupos de usuários com necessidades de informações diferentes, tempo disponível (pressão de tempo) e percepção da necessidade de avaliação. Relacionado à percepção da importância da informação, análise dos pontos fortes e fracos
Características da decisão	Área de impacto, tipo de decisão, novidade do programa e significância da decisão ou do problema da avaliação. Relacionado a pontos fortes e fracos do programa, decisões extremamente importantes e/ou que resultarão em conflitos.
Envolvimento direto do stakeholder	A relação direta entre o envolvimento dos stakeholders e o uso. Relacionado à apreensão de conhecimento, desenvolvimento de habilidades avaliativas, entendimento do programa avaliado e construção de um senso de “propriedade” coletivo.

• Fonte: Elaboração própria com base em Leviton e Hughes (1981), Cousins e Leithwood (1986) e et al.).

3 Método

Trata-se de um estudo empírico, descritivo, quali-quanti, de recorte transversal - 2016 - e amostra não probabilística. O Quadro 2 sintetiza a caracterização da amostra, os instrumentos utilizados e a análise e tratamento dos dados da pesquisa agrupados por objetivos.

Quadro 2
Síntese da Metodologia de Pesquisa

Objetivo Geral:	Analisar o uso dos resultados da Autoavaliação Institucional da UnB pelos gestores.
Objetivos Específicos	1) Descrever os facilitadores e barreiras no uso dos resultados da AAI da UnB sob a ótica de gestores;	2) Verificar se existem relações entre facilitadores e barreiras e os tipos de uso dos resultados pelos gestores
Amostra	Gestores da UnB (ocupantes de FG e CD).	Gestores da UnB (ocupantes de FG e CD).
Instrumentos de coleta de dados	Questionário (34 questões teóricas + 7 sócio-demográficas).	Questionário (34 questões teóricas + 7 sócio-demográficas).
Tratamento e análise dos dados	Estatísticas descritivas.	Estatísticas descritivas e inferenciais não paramétrica.

• Fonte: Elaboração própria.

4 Análise e Discussão dos Resultados

Nesta seção, são apresentados e discutidos os resultados obtidos, conforme os objetivos específicos indicados na introdução. A seção 4.1 descreve o perfil dos respondentes do questionário aplicado e apresenta, item a item, os facilitadores e as barreiras identificados, de acordo com o agrupamento teórico dos estudos de Leviton e Hughes (1981), Cousins e Leithwood (1986) e Johnson et al. (2009). Finalmente, a seção 4.2 verifica se existe relação entre os facilitadores e barreiras identificados e os tipos de uso dos resultados pelos gestores.

4.1 Facilitadores e Barreiras para o uso dos resultados da AAI da UnB

Nos modelos de Leviton e Hughes (1981), Cousins e Leithwood (1986) e Johnson et al. (2009), as variáveis adotadas não são classificadas como barreiras ou facilitadoras. Os referidos autores entendem que, quando são positivamente avaliadas ou satisfatoriamente adequadas, elas influenciam positivamente o uso e, quando negativamente avaliadas ou inadequadamente presentes, elas representam dificuldades para o uso. No questionário elaborado para o presente estudo, foram abordadas as variáveis dos referidos modelos.

O Quadro 3 apresenta a síntese do perfil sócio demográfico predominante do diagnóstico.

Quadro 3
Perfil sócio demográfico predominante

Variável	Perfil
População	491
Amostra	116
% Participação	23,62%
Idade	38 anos
Gênero	Feminino (54,9%)
Escolaridade	Especialização (45%)
Tipo de Função	Função Gratificada (78,4%)
Tempo na Função atual	3 anos
Lotação	DPO e BCE (8,8%)

• Fonte: Elaboração própria.

O Relatório de Autoavaliação Institucional é o instrumento que consolida o processo de AAI. O Gráfico 1 que sintetiza as respostas dos gestores quanto à leitura total ou parcial dos Relatórios de Autoavaliação Institucional da UnB no período de 2012 a 2015, revela um crescimento anual constante e um significativo aumento entre os anos de 2013 e 2014. Considerando que no ano de 2014, a CPA iniciou uma série de atividades de divulgação e sensibilização quanto à AAI e seus resultados, o aumento da leitura do Relatório pode estar relacionado a essas atividades. Entretanto, a porcentagem de gestores que nunca leram o Relatório é preocupante e indica a necessidade continuidade e ampliação dessa sensibilização.

Gráfico
1- Leitura total ou parcial do relatório de Autoavaliação Institucional da UnB

Quando solicitados a explicar o motivo de não terem lido o Relatório de AAI da UnB no período pesquisado, 73% dos respondentes alegaram desconhecer a existência do Relatório, 10% declararam falta de interesse ou tempo, 6% apontaram que as informações contidas no relatório não têm utilidade para as tarefas desempenhadas e 2% dos respondentes relataram que não sabiam da importância do Relatório, que consideram a AAI mera formalidade ou que o relatório era exclusivo para chefias.

Cousins e Leithwood (1986) sugerem que a divulgação dos resultados não influencia diretamente o uso, no entanto, o desconhecimento da AAI ou de seus resultados configura-se em impedimento para o uso. É elucidativo neste caso que, em relação ao não uso dos resultados por 55,2% dos respondentes, 85,71% deles correspondem aos que nunca leram o Relatório de AAI no período estudado e apenas 14,29% leram, pelo menos parcialmente, o Relatório de AAI. Por outro lado, entre os que leram o Relatório de AAI, apenas 7,8% relataram não uso dos resultados da AAI, o que revela a importância de políticas de incentivo à leitura do instrumento em relação ao uso dos resultados da AAI da UnB.

A fim de interpretar as variáveis utilizadas em termos de barreiras ou facilitadores, o que facilita o entendimento do diagnóstico, foi estabelecido alguns parâmetros. Para análise dos itens 5 a 34 do questionário, e considerando a escala de 11 pontos, foram utilizados os seguintes parâmetros para interpretação dos resultados: pontuações entre 0 e 4 sugerem percepções predominantemente negativas em relação ao aspecto avaliado e, portanto, o seu caráter de barreira para o uso dos resultados da AAI. Pontuações entre 4 e 6 sugerem percepções medianas sobre o aspecto avaliado, situando-o em uma zona de transição entre barreira e facilitador. Por fim, pontuações entre 6 e 10 indicam percepções predominantemente positivas sobre o aspecto avaliado e o seu potencial facilitador para o uso dos resultados da AAI. A Tabela 4 sintetiza os resultados dos 5 a 34 do questionário.

Tabela 4
Percepção dos Respondentes

	Afirmativa	Global (n=105)		Leram (n=54)		Não leram (n=51)
		Média	DP	Média	DP	Média	DP
5	A Autoavaliação Institucional é um importante instrumento de gestão para a UnB.7	7,88	2,31	8,56	2,10	7,12	2,31
6	A participação dos gestores no processo de Autoavaliação Institucional da UnB é incentivada.11	4,66	2,70	5,33	2,63	3,98	2,64
7	Os objetivos do processo de Autoavaliação Institucional da UnB são descritos com clareza.1	5,28	2,47	6,54	2,36	3,92	1,81
8	A metodologia utilizada no processo de Autoavaliação Institucional da UnB é coerente com os objetivos estabelecidos.1	5,42	2,23	6,48	2,24	4,25	1,57
9	A coleta de dados no processo de Autoavaliação Institucional da UnB é coerente com os objetivos e metodologia definidos.2	5,38	2,17	6,63	1,72	4,02	1,77
10	As conclusões apresentadas no Relatório de Autoavaliação Institucional (parcial e integral) refletem os objetivos propostos, os métodos utilizados e os dados coletados.5	5,44	2,13	6,57	1,75	4,22	1,81
11	O processo de Autoavaliação Institucional da UnB possui alta qualidade.1	5,49	2,16	6,54	2,04	4,33	1,63
12	A condução do processo de Autoavaliação Institucional da UnB é imparcial.2	5,58	2,35	6,44	2,40	4,61	1,89
13	Os instrumentos utilizados no processo de Autoavaliação Institucional da UnB são diversificados.1	5,32	2,20	6,37	1,94	4,18	1,90
14	Os instrumentos utilizados no processo de Autoavaliação Institucional da UnB são aplicados a todos os segmentos da comunidade acadêmica.2	5,27	2,72	6,54	2,49	3,86	2,23
15	A Alta Administração da UnB está comprometida com o uso dos resultados da Autoavaliação Institucional.10	4,49	2,32	5,26	2,50	3,71	1,83
16	A Alta Administração da UnB tem interesse na realização da Autoavaliação Institucional.10	5,25	2,43	6,15	2,65	4,25	1,71
17	A seleção dos membros da Comissão Própria de Avaliação (CPA) atrai especialistas em avaliação competentes e isentos.2	5,18	2,14	5,76	2,34	4,45	1,61
18	A comunicação dos gestores com a Comissão Própria de Avaliação (CPA) é facilitada.4	5,06	2,07	5,70	2,23	4,28	1,57
19	A comunicação dos gestores com a Comissão Própria de Avaliação (CPA) é clara.4	4,94	2,11	5,59	2,24	4,13	1,64
20	Durante a realização da Autoavaliação Institucional a comunicação com a Comissão Própria de Avaliação (CPA) é frequente.4	4,78	2,19	5,48	2,13	3,91	1,93
21	As informações geradas no processo de Autoavaliação Institucional da UnB são consistentes com as minhas expectativas.5	5,09	2,34	5,98	2,34	3,98	1,79
22	As informações geradas no processo de Autoavaliação Institucional da UnB são consistentes com as expectativas da comunidade acadêmica.9	5,08	2,11	5,70	2,17	4,28	1,72
23	As informações que resultam do processo de Autoavaliação Institucional da UnB confirmam outras fontes de informações às quais tenho acesso.9	4,95	2,28	5,83	2,12	3,87	1,97
24	As informações geradas no processo de Autoavaliação Institucional da UnB são confiáveis.2	5,84	2,24	6,80	2,16	4,70	1,78
25	Os resultados da Autoavaliação Institucional são divulgados no tempo oportuno para serem utilizados no exercício da minha função administrativa.6	4,90	2,60	5,76	2,87	3,89	1,86
26	As informações geradas pela Autoavaliação Institucional são importantes para o exercício da minha função administrativa na UnB.7	6,07	2,72	7,19	2,62	4,74	2,23
27	As conclusões apresentadas no Relatório de Autoavaliação Institucional têm aplicações práticas para o exercício da minha função administrativa na UnB.7	5,42	2,58	6,39	2,82	4,34	2,23
28	As recomendações apresentadas no Relatório de Autoavaliação Institucional (parcial ou integral) indicam cursos de ação alternativos para problemas ou dificuldades detectados.5	5,19	2,17	6,13	2,06	4,11	1,78
29	As informações geradas pela Autoavaliação Institucional da UnB subsidiam meu processo de tomada de decisão administrativa.3	4,97	2,66	6,13	2,66	3,64	2,00
30	As informações geradas no processo de Autoavaliação Institucional subsidiam o aperfeiçoamento das atividades de gestão da UnB.8	5,62	2,34	6,69	2,10	4,36	1,98
31	As informações geradas no processo de Autoavaliação Institucional permitem identificar os pontos fortes e fracos da UnB.8	6,11	2,49	7,09	2,30	4,91	2,19
32	As necessidades de informação para a função que ocupo são consideradas no planejamento da Autoavaliação Institucional da UnB.3	4,67	2,51	5,44	2,70	3,74	1,96
33	A participação da comunidade acadêmica, em todas as etapas do processo de Autoavaliação Institucional da UnB, é incentivada.11	4,36	2,39	4,94	2,55	3,66	2,01
34	A descontinuidade do processo de Autoavaliação Institucional na UnB causaria prejuízo para o exercício da minha função.7	5,12	2,93	6,11	3,10	3,96	2,29

• Fonte: Elaboração própria.
• Legenda: DP = Desvio-padrão. 1 = Qualidade da Avaliação; 2 = Credibilidade; 3 = Relevância; 4 = Qualidade da Comunicação; 5 = Resultados; 6 = Tempestividade; 7 = Necessidade de Informações; 8 = Característica da Decisão; 9 = Informações Concorrentes; 10 = Comprometimento e/ou receptivade à informação da avaliação; 11 = Envolvimento direto do Stakeholder.

De forma geral, as pontuações dos itens encontram-se na zona de transição entre barreira e facilitador, ou seja, são aspectos que precisam ser trabalhados e melhorados a fim de que consistam em facilitadores para os gestores utilizarem os resultados da AAI. Ao segmentar as pontuações para os grupos de gestores que leram e que não leram o Relatório de AAI da UnB no período de 2012 a 2015, as pontuações daqueles que leram são mais elevadas e predominantemente positivas. Os gestores que não leram o relatório e que provavelmente não conhecem bem seus resultados são aqueles que percebem mais barreiras para o uso. A familiaridade com o relatório, portanto, parece ser um primeiro passo para que o uso seja efetivado.

Apenas os itens 5 e 26, ambos relacionados à Necessidade de Informações, encontram-se no pólo positivo dos parâmetros de avaliação. Entende-se que existe a noção de que a AAI é um instrumento de gestão importante, e os resultados dos outros itens, entrevistas e das questões abertas ajudam a compreender as barreiras para que o uso dos resultados se concretize. O item 33 obteve a menor pontuação geral e reflete a percepção negativa dos gestores quanto ao incentivo à participação da comunidade acadêmica no processo de AAI da UnB. Gonçalves (2016) identificou que a UnB ainda não conta com uma cultura de avaliação formativa, e docente E2 relatou que, em geral, os gestores não se veem dentro do processo e tampouco se apropriam da AAI. De acordo com o docente E2, a estratégia de implantar a CPA itinerante tem, entre seus objetivos, aumentar a percepção dos gestores e unidades acadêmicas sobre o seu papel dentro da AAI através de devolutivas segmentadas. O item 34, por sua vez, encontra-se na zona de transição entre os que não leram o Relatório de AAI, e reflete a percepção negativa deles quanto à relação entre o processo de AAI e sua função. Essa percepção pode ser resultado do descrédito na AAI e pode ser agravada pela ausência de uma cultura avaliativa formativa.

Para todos os itens fechados do questionário, as pontuações dos gestores que leram o relatório tendem a ser mais elevadas do que as pontuações gerais ou daqueles que não leram. Trata-se de uma análise descritiva, não inferencial, mas que sugere uma possível tendência de comportamentos e percepções dos gestores, ou seja, aqueles que acessam e conhecem o relatório são também aqueles que avaliam mais positivamente as condições para uso dos resultados. Esses achados, porém, não podem ser interpretados com muito otimismo e não devem levar a conclusões de que desde que o relatório seja lido, as barreiras tendem a diminuir e, portanto, o problema do uso estaria entre aqueles que não leem os relatórios. Pessoas que não leem os relatórios podem estar percebendo mais barreiras ou pessoas que percebem mais barreiras não estão lendo os relatórios. Esta é uma relação inferencial que deverá ser testada em estudos futuros. Mas há que se considerar que as pontuações obtidas pelos gestores que afirmam ter lido o relatório, mesmo quando localizadas no polo positivo da escala de resposta, que reflete um papel potencialmente facilitador dos aspectos avaliados, tendem a estar muito próximas à zona intermediária, de transição, indicando amplo espectro de necessidades de melhorias e intervenções.

O questionário era composto por duas perguntas abertas que solicitavam aos respondentes que escrevessem as barreiras e facilitadores percebidos para o uso dos resultados da AAI realizada na UnB. Os resultados foram categorizados conforme variáveis propostas nos estudos de Leviton e Hughes (1981), Cousins e Leithwood (1986) e Johnson et al. (2009). As Tabelas 2 e 3 indicam a frequência absoluta e relativa com que cada categoria, foi mencionada pelos respondentes e, na última coluna, são incluídos as subcategorias associadas a cada categoria em ordem de frequência, da mais citada à menos citada. As categorias e subcategorias foram definidas antes da coleta, com base no referencial teórico.

A Tabela 2 sintetiza as barreiras citadas pelos gestores. A principal barreira reportada pelos gestores diz respeito à qualidade da comunicação, mencionada por 31% dos respondentes. Não foram reportadas barreiras relacionadas a informações concorrentes, resultados, características da decisão e caraterísticas pessoais.

Tabela 2
Barreiras para o uso dos resultados da AAI (questionário)

Barreiras	Número de Respondentes	% (N = 116)	Exemplos
Sem resposta	55	47%
Qualidade da Comunicação	36	31%	Falta de divulgação; dificuldade de acesso às informações;
Credibilidade	9	8%	Coleta de dados inadequada; manipulação dos dados.
Qualidade da Avaliação	8	7%	Baixa participação; falta de clareza.
Clima Político	7	6%	Ausência de política de incentivo à AAI; falta de cultura avaliativa.
Necessidade de Informação	5	4%	Informações gerais e não segmentadas; informações repetidas.
Tempestividade	2	2%	Atraso das informações.
Envolvimento do Stakeholder	2	2%	Não envolvimento das unidades.
Comprometimento Receptividade à Informação da Avaliação	1	1%	Não há comprometimento com o uso.
Relevância	1	1%	Ausência de informações importantes de forma detalhada.

• Fonte: Elaboração própria.

Em termos de barreiras, foram predominantes as menções à Qualidade da Comunicação, que reflete a clareza e disseminação da apresentação dos resultados e a comunicação entre o avaliador e os usuários. Na parte fechada do questionário, os itens também indicaram que tais aspectos se configuram como potenciais barreiras, pois todas as pontuações obtidas situaram-se na zona de transição ou na zona negativa da escala. Os dois aspectos relatados foram a falta de divulgação e a dificuldade de acesso às informações, ambos relacionados à disseminação dos resultados. Os que relataram a falta de divulgação associaram esta fala aos meios de comunicação institucionais e à publicidade dos resultados pela instituição. Esses achados corroboram os apontamentos de Feinstein (2002) quanto à importância da disseminação para o uso dos resultados.

Vale também destacar barreiras referentes à credibilidade e à qualidade da avaliação, que seguiram a qualidade da comunicação. A credibilidade reflete a confiança no avaliador e no processo avaliativo. Os gestores apontaram a inadequação da coleta de dados relacionando-a, principalmente, à baixa taxa de participação dos segmentos da comunidade acadêmica, além de manifestarem desconfiança de manipulação de dados, embora não tenham especificado qual tipo de manipulação. Além de ações que estimulem a representatividade e permanência dos membros da CPA, o envolvimento dos membros da comunidade no processo avaliativo pode resultar no aumento da credibilidade do processo avaliativo conforme apontado por Johnson et al. (2009).

A Tabela 3indica a frequência absoluta e relativa com que cada categoria de facilitadores foi mencionada pelos respondentes e, na última coluna, são incluídos alguns exemplos dos termos mencionados associados a cada uma.

Tabela 3
Facilitadores para o uso dos resultados da AAI (questionário)

Facilitadores	Número de Respondentes	% (N = 116)	Exemplos
Sem resposta	67	58%
Qualidade da Avaliação	17	15%	Dados claros; fácil compreensão.
Necessidade de Informação	12	10%	Informações gerais; subsídio para elaboração de relatórios.
Qualidade da Comunicação	11	9%	Divulgação informal; disponibilidade no site da UnB.
Clima Político	4	3%	Importância da avaliação; incentivo à cultura de avaliação.
Resultados	2	2%	Diagnóstico dos problemas.
Credibilidade	1	1%	Consulta à comunidade.

• Fonte: Elaboração própria.

O principal facilitador reportado pelos gestores refere-se à qualidade da avaliação, mencionada por 15% dos respondentes. Não foram reportados facilitadores relacionados à relevância, informações concorrentes, comprometimento e/ou receptividade à informação da avaliação, tempestividade, características da decisão, características pessoais ou envolvimento do stakeholder.

Sobre aspectos que se configuram como facilitadores, destacam-se elementos referentes à qualidade da avaliação, da necessidade da informação e também da qualidade da comunicação. A facilidade de compreensão e a apresentação clara dos dados do Relatório de AAI foram apontados como facilitadores para o uso dos resultados da AAI na UnB, entretanto, esse mesmo aspecto foi apontado como barreira por outros respondentes. Esse conflito pode ser resultado do uso de jargões, apontados por dois respondentes como barreira. Identificar os jargões utilizados no relatório e inserir notas de rodapé explicativas pode melhorar a percepção dessa barreira.

A necessidade de informação reflete o tipo de informação necessária e foi apontada como barreira e facilitador pelos gestores. As informações gerais e não segmentadas foram assinaladas como facilitador para a compreensão holística da universidade e para a elaboração de relatórios administrativos, ambos de uso conceitual. Essas mesmas informações foram citadas como barreira para a tomada de decisão, um uso instrumental. O uso conceitual não é afetado pela necessidade de informações segmentadas e tempestivas, que caracteriza o uso instrumental (LEVITON; HUGHES, 1981), portanto para sua função regulatória e para uso conceitual, as informações gerais caracterizam-se como facilitadores. Para o uso instrumental e função formativa da avaliação, caracterizam-se como barreiras.

A qualidade da comunicação foi apontada como barreira e facilitador pelos gestores. Enquanto barreira, a baixa divulgação formal e a dificuldade do acesso, foram predominantes. Como facilitadora, os gestores mencionaram a divulgação informal, realizada entre pares, juntamente com a disponibilização do Relatório de AAI no site da UnB. A disseminação em redes e por colegiados invisíveis de especialistas foi positivamente relacionada ao uso por Leviton e Hughes (1981) e pode explicar esse facilitador.

4.2 Relação entre facilitadores e barreiras e os tipos de uso

Para atender o terceiro objetivo específico desta pesquisa, verificar se existem relações entre a percepção de facilitadores e barreiras e os tipos de uso dos resultados pelos gestores, questionou-se as finalidades para as quais os gestores já utilizaram as informações geradas pela AAI realizada na UnB. A Tabela 4sintetiza os resultados obtidos e permite identificar que entre os respondentes que utilizam os resultados da AAI, destaca-se o uso para compreensão das dimensões da UnB e a elaboração de relatórios administrativos, ambos conceituais, e a Tomada de Decisão e Planejamento, ambos instrumentais, o que sugere que a AAI tende a atender seus dois objetivos básicos: autoconhecimento e tomada de decisão (BELLONI, 1999).

Tabela 4
Como os gestores utilizam os resultados da AAI

Opções	%* (N = 116)
Entender/conhecer melhor alguma dimensão da UnB.	27,6%
Mudança de Concepção sobre algo.	10,3%
Tomada de Decisão.	18,1%
Planejamento.	19,8%
Acompanhamento de planejamento.	12,1%
Revisão de planejamento.	10,3%
Ensino.	9,5%
Pesquisa.	8,6%
Proposta de mudanças na gestão.	8,6%
Proposta e/ou elaboração de projetos.	6,0%
Ajustes na execução de atividades.	11,2%
Negociação de recursos.	3,4%
Argumentação em debates.	8,6%
Defesa de um ponto de vista.	9,5%
Elaboração de relatórios administrativos.	21,6%
Nunca utilizei.	55,2%

• Fonte: Elaboração própria.
• Legenda: *em relação ao total de respondentes.

Quando agrupados quanto ao tipo, o uso mais frequente é o instrumental (48%), seguido do uso conceitual (42%) e do uso simbólico (10%). Esses resultados corroboram o relato de Weiss et al. (2005) quanto ao maior uso conceitual e instrumental das avaliações, sendo o uso instrumental o principal uso esperado por avaliadores. Em relação ao uso Instrumental, apenas a relação com a variável envolvimento não é significativa. Todas as demais são significativas a 99% e comprometimento a 95%. Em relação ao uso conceitual, mais uma vez, apenas o aspecto envolvimento não foi significativo. Em relação ao uso instrumental, todos os aspectos se relacionam significativamente. Em relação ao uso simbólico, para algumas variáveis não foram encontradas relações significativas. Para todas as diferenças significativas encontradas, aqueles que avaliam mais positivamente os aspectos descritos, ou seja, avaliam os aspectos mais como facilitadores, são também aqueles que relatam o uso dos resultados. Ou seja, o uso parece estar vinculado à percepção dessas variáveis no contexto da AAI. Tais achados corroboram os estudos de Leviton e Hughes (1981), Cousins e Leithwood (1986), Johnson et al. (2009).

É possível supor que atuar sobre os aspectos mais problemáticos identificados na presente pesquisa, ou seja, aspectos que se configuram com potencial papel dificultador, podem levar ao estímulo e ao aumento do uso dos resultados da AAI na UnB. Barreiras e facilitadores podem ser dinâmicos, mudando ao longo do tempo e em função dos contextos específicos das IES. Estudos que mensurem a existência desses aspectos e permitam o planejamento e a operacionalização de ações e intervenções são fundamentais para o desenvolvimento do campo teóricos e prático a avaliação institucional no Brasil.

5 Conclusão

Esta pesquisa teve como objetivo geral analisar o uso dos resultados da Autoavaliação Institucional da Universidade de Brasília pelos gestores. Como objetivos específicos foram propostos: a) descrever os facilitadores e barreiras no uso dos resultados da AAI da UnB sob a ótica de gestores; b) verificar se existem relações entre facilitadores e barreiras e os tipos de uso dos resultados, pelos gestores. Com base no método adotado e resultados apresentados, pode-se concluir que todos os objetivos foram alcançados.

A UnB foi escolhida por ser uma das pioneiras no campo da autoavaliação institucional, cuja experiência serviu de referência para a construção do Paiub e do Sinaes, atual política de avaliação da educação superior. Contudo, a descontinuidade do processo avaliativo da instituição levou à perda do seu protagonismo e de seu papel de referência nacional em AAI, além da interrupção da cultura avaliativa formativa em construção na década de 1980.

Posteriormente, a retomada do processo avaliativo a partir das diretrizes do Sinaes na UnB foi constrangida pelo normativo institucional que atribuía ao Reitor o cargo de Presidente da CPA, o que foi alterado apenas em 2013, quando a presidência da CPA passou a ser ocupada por um membro nomeado pelo Reitor. Chama atenção que nos Relatórios de AAI da UnB do período de 2012 a 2015, a predominância de docentes, em detrimento dos demais segmentos, o que resulta no desequilíbrio da representatividade dos segmentos dentro da CPA. Conforme apontado por Gonçalves (2016) é notória a dificuldade da UnB e de outras IES na captação e manutenção de membros dos segmentos discentes e da sociedade civil, caracterizando este em um desafio da UnB.

As diversas mudanças pelas quais a AAI passou, tanto no cenário nacional quanto institucional, foram gerando desafios a serem superados ao longo do tempo, conforme o referencial teórico adotado e as entrevistas realizadas demonstraram. Conhecer seus diferentes processos contribui para o debate nacional sobre o andamento e os rumos dessa política pública no Brasil.

Os resultados encontrados permitem observar uma fotografia ampla do uso dos resultados da AAI pelos gestores. A dimensão da gestão é fundamental para a universidade, e deve ser a base no processo decisório da IES, pois proporciona uma discussão coletiva sobre a instituição pelos segmentos que a compõem, conferindo legitimidade, autonomia e significado a essa análise. A AAI foi idealizada como componente central do Sinaes, e tem por objetivo o autoconhecimento institucional para subsidiar a tomada de decisão, baseada na participação democrática em que a comunidade acadêmica e a sociedade civil definem os objetivos da instituição. Para isso, é necessário que a AAI produza informações não apenas para atender à regulação do Sinaes, mas, principalmente, às necessidades da comunidade acadêmica, inclusive dos gestores. Os resultados não podem ser meramente cumprimento de normas, que atendem a um roteiro e cronograma definidos externamente. Mas podem e devem ser adequados às necessidades da instituição, buscando informações que permitam a compreensão aprofundada da realidade na qual a IES está inserida.

O aspecto regulatório é importante, mas não deve sobrepor-se ao processo de melhoria constante da Universidade. Os resultados da pesquisa sugerem que a UnB tem uma cultura de avaliação, mas ela é predominantemente regulatória e controladora, resultado da valorização nacional de políticas com esse viés em detrimento de políticas de avaliação formativas. A atuação da CPA da UnB, desde o ano de 2014, representa um esforço que pode contribuir para a ampliação do uso dos resultados desse importante instrumento de gestão, principalmente se for acompanhado do apoio institucional e envolvimento da comunidade acadêmica.

O presente estudo oferece dados que podem embasar a discussão de futuras intervenções na UnB e contribui para preencher algumas das lacunas presentes no campo do uso de resultados de avaliação, oferecendo contribuições práticas e teórico-acadêmicas. Em primeiro lugar, tem-se um diagnóstico do cenário atual do uso de resultados pelos gestores. Foi possível identificar as principais barreiras e os principais facilitadores percebidos pelos gestores. Com base nesses achados, foi possível pontuar ao longo da seção de discussão algumas perspectivas gerais e focos de atuação futura. Os resultados certamente podem oferecer suporte a discussões de membros de CPA e de toda a comunidade acadêmica. Ações futuras podem envolver a continuidade das atividades de sensibilização da comunidade acadêmica quanto à importância da AAI; a ampla divulgação dos resultados da AAI, incluindo incentivos à leitura do Relatório de AAI da UnB e divulgação de ações de melhorias baseadas na AAI; a redução da carga horária dos membros da CPA para que os mesmos não enfrentem sobrecarga de trabalho e possam dedicar, regularmente, horas às atividades avaliativas.

Referências

• BELLONI, Isaura. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas, Brasília, v. 5, n. 9, p. 31-58, jul./dez. 1999.
• BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira (INEP) Ministério da Educação (MEC).. Sistema Nacional de Avaliação da Educação Superior (SINAES): análise dos relatórios de autoavaliação das instituições de educação superior. Brasília: INEP, 2011.
• COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 5, n. 37, p. 969-992, set./out. 2003.
• CONTANDRIPOULOS, André-Pierre. Avaliando a institucionalização da avaliação. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 705-711, set. 2006.
• COUSINS, J. Bradley; LEITHWOOD, Kenneth A. Current empirical research on evaluation utilization. Review of Educational Research, Washington, v. 56, n. 3, p. 331-364, 1986. Disponível em: Disponível em: http://www.jstor.org/stable/1170319 Acesso em: 10 nov. 2015.
  » http://www.jstor.org/stable/1170319
• CUNHA, Débora Alfaia da. Avaliação da educação superior: condições, processos e efeitos da autoavaliação nos cursos de graduação da UFPA. 2010. 356 f. Tese (Doutorado) - Curso de Educação, Faculdade de Educação, Universidade de Brasília, Brasília, 2010.
• FEINSTEIN, Osvaldo N. Use of evaluations and the evaluation of their use. Evaluation, EUA, v. 8, n. 4, p.433-439, 1 out. 2002.
• GONÇALVES, Lukelly Fernanda Amaral. A autoavaliação na Universidade de Brasília: entre a proposta do SINAES e os sinais da prática. 2016. 247 f. Dissertação (Mestrado em Educação) - Programa de Pós-graduação em Educação, Universidade de Brasília, Brasília, 2016. Disponível em: Disponível em: http://repositorio.unb.br/bitstream/10482/21518/1/2016_LukellyFernandaAmaralGonçalves.pdf Acesso em: 15 out. 2017.
  » http://repositorio.unb.br/bitstream/10482/21518/1/2016_LukellyFernandaAmaralGonçalves.pdf
• JOHNSON, Kelli et al. Research on evaluation use: a review of the empirical literature from 1986 to 2005. American Journal of Evaluation, Washington, v. 30, n. 3, p. 377-410, set. 2009.
• KALLEMEYN, L. M. et al. Cross-continental reflections on evaluation practice: methods, use, and valuing. American Journal of Evaluation, Washington, v. 36, n. 3, p. 339-357, 3 abr. 2015.
• LEVITON, Laura C.; HUGHES, Edward F. X. Research on the utilization of evaluation: a review and synthesis. Evaluation Review, EUA, v. 5, n. 4, p. 525-548, ago. 1981.
• RAMOS, Marília Patta; SCHABBACH, Letícia Maria. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, Rio de Janeiro, v. 5, n. 46, p. 1271-1294, set./out. 2012.
• SHULHA, Lyn M.; COUSINS, J. Bradley. Evaluation use: theory, research and practice since 1986. Evaluation Practice, Washington, v. 18, n. 3, p. 195-208, 1997.
• SCRIVEN, Micheal. Methodology of evaluation. In: TYLER, Ralph W.; GAGNÉ, Robert M.; SCRIVEN, Micheal. Perspectives of curriculum evaluation. Chicago: Rand Mcnally, 1967. p. 1-58.
• SCRIVEN, Michael. The final synthesis. Evaluation Practice, EUA, v. 15, n. 3, p.367-382, out. 1994
• SERPA, Selma Maria Hayakawa Cunha. Para que Avaliar?: identificando a tipologia, os propósitos e a utilização das avaliações de programas governamentais no Brasil. 2010. 192 f. Dissertação (Mestrado em Administração) - Departamento de Administração, Universidade de Brasília, Brasília, 2010.
• SILVA, Pedro Luiz Barros (org.). Modelo de avaliação de programas sociais prioritários: relatório final. Campinas: Programa de Apoio à Gestão Social no Brasil, 1999. 142p. Disponível em: Disponível em: http://www.paho.org/bra/index.php?option=com_docman&task=doc_details&gid=557&Itemid;=. Acesso em: 6 out. 2015.
  » http://www.paho.org/bra/index.php?option=com_docman&task=doc_details&gid=557&Itemid;=.
• SULBRANDT, José. La evaluación de los programas sociales: una perspectiva crítica de los modelos usuales. In: KLIKSBERG, Bernardo (org.). Pobreza, un tema impostergable: nuevas respuestas a nivel mundial. Caracas, Venezuela: Centro Latinoamericano de Administración para el Desarrollo, 1993. p. 309-350.
• UNICEF - FUNDO DAS NAÇÕES UNIDAS PARA A INFÂNCIA. Organização das Nações Unidas (ONU). A UNICEF guide for monitoring and evaluation: making a difference? Nova York: Unicef, 1990.
• WEISS, Carol H. Evaluation for decisions: is anybody there? Does anybody care? Evaluation Practice, EUA, v. 9, n. 1, p. 5-19, fev. 1988.
• WEISS, C. H. et al. An alternate route to policy influence: how evaluations affect D.A.R.E. American Journal of Evaluation, Washington, v. 26, n. 1, p. 12-30, 2005.
• WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo: Gente, 2004.

Datas de Publicação

• Publicação nesta coleção
  9 Dez 2019
• Data do Fascículo
  Sep-Nov 2019

Histórico

• Recebido
  24 Jan 2019
• Aceito
  09 Out 2019