Fatores que afetam o clima da escola: a visão dos professores ¹

Factors which influence the school climate in the teachers’ vision

Resumo

Este artigo analisa os fatores que, na visão dos professores, afetam o clima escolar, a partir de dados do estudo longitudinal do Projeto Geres, iniciado em 2005, que observou durante quatro anos a mesma amostra de escolas e alunos. A amostra contemplou 312 instituições de ensino fundamental em cinco cidades, que ao final da coleta, em 2008, registrava 35.538 alunos, 2.918 professores e 669 diretores. Faccenda, Dalben e Freitas forneceram a este trabalho a base para a escolha das variáveis que formaram o construto do indicador de clima escolar. Os resultados mostraram que a avaliação dos professores das redes municipais e estaduais sobre a influência dos fatores externos em suas escolas é até três vezes maior do que na rede especial e privada, apontando a violência entre alunos e a interferência do tráfico de drogas como possíveis influências negativas no ambiente da escola.

Palavras-chave:
clima escolar; professores; redes de ensino; estudo longitudinal

Abstract

The goal of this study is to analyze the factors that, thought the teachers' vision, can affect the development of the school climate, based on longitudinal study of School Generation Project (Geres), started in 2005, where the same schools and students samples were observed during four years. The sample had 312 basic level schools in five Brazilian cities and at the end of collecting data registered 35.538 students, 2918 teachers and 669 directors. Faccenda, Dalben and Freitas provided to this study all selected variables to compound the school climate indicator. The results showed that the evaluation of the public schools teachers related to the influence of external factor in their schools is up to three times higher than in private and special schools. indicating the violence among students, the interference of drug trafficking as factors that tend to influence negatively the school climate.

Keywords
school climate; teacher; public and private schools; longitudinal study

Introdução

A educação é hoje unanimemente considerada um dos principais veículos de socialização e promoção do desenvolvimento individual. No entanto, condições inadequadas de funcionamento, notadamente instituições superlotadas, com níveis elevados de insucesso e alunos em situação de vulnerabilidade social, além da falta de um sistema de formação profissional coerente, entre outros fatores, têm impactado a organização pedagógica e o clima escolar.

Este artigo apresenta a visão dos professores dos anos iniciais do ensino fundamental sobre o clima no ambiente escolar, analisando fatores internos e externos que o influenciam. Para tanto, foram selecionadas variáveis extraídas do banco de dados do Projeto Geres – Estudo Longitudinal da Geração Escolar 2005².

O desenho metodológico da pesquisa Geres viabilizou a produção de uma base de dados com características únicas até então no cenário brasileiro. Tratava-se de um estudo longitudinal de painel (Babbie, 1999) com escolas que ofereciam as séries iniciais do ensino fundamental em cinco cidades brasileiras, e a mesma amostra de escolas e alunos foi observada ao longo de quatro anos.

O ineditismo do Geres possibilitou a este estudo uma abordagem distinta para a discussão do tema, bem como tornou possível, devido à sua grande massa de dados, a construção exploratória de indicadores de clima, com fatores que potencialmente influenciam o ambiente escolar, na avaliação dos professores.

Considerações sobre o clima escolar

Embora ainda não exista consenso sobre quais dimensões são essenciais para medir o clima escolar validamente, lançar mão da bibliografia sobre o tema e de experiências empíricas ajudará a compreender aspectos do clima na escola que podem e devem ser analisados.

Para o professor, esse clima requer apoio social, dos pares e da comunidade, pois os problemas atuais dentro das escolas (abandono, conflitos de alunos entre si e com professores) geram tensão nas relações sociais e uma qualidade alienante da vida escolar, sem promover a aproximação eficaz de estudantes e docentes para o trabalho educacional.

Como afirmam Brito e Costa (2010), os estudos com referência ao clima escolar buscam analisar padrões de interação social presentes na escola que podem facilitar ou dificultar o trabalho coletivo e o diálogo entre os diferentes atores do processo pedagógico, aspectos fundamentais na dinâmica educativa. Segundo Costa (2010, p. 56):

… o clima da escola pode ser definido como uma série de atributos característicos de determinada instituição, que induzem a escola a agir consciente ou inconscientemente de determinada maneira de acordo com seus membros e com a sociedade na qual está inserida. Tais características dependem das percepções dos indivíduos sobre a realidade da escola e da sociedade global, sendo que… a forma dos professores se movimentarem e actuarem está intimamente ligada aos padrões característicos de relacionamento e formas de associação entre eles …

Por sua vez, as pesquisas sobre características escolares e desempenho do aluno invariavelmente remetem ao clima escolar (Cunha & Costa, 2009; Brito & Costa, 201), pois afirmam que as relações positivas entre diferentes membros da comunidade educacional favorecem o bom clima de trabalho e o desenvolvimento do processo pedagógico, não se limitando ao rendimento acadêmico. Costa (2010, p. 50) ressalta que:

… a importância do estudo do clima de escola prende-se ao facto de haver uma necessidade de conhecer melhor a vida no interior da organização escolar. As investigações existentes sobre a eficácia e melhoria deste tipo de organização atribuem ao clima uma grande importância, na medida em que este revela o modo como os seus membros percepcionam a organização. O clima organizacional encontra-se intimamente ligado à qualidade da escola. Avaliar as interacções entre os membros de uma organização escolar e a percepção que estes têm dessa mesma organização, ajuda a perceber até que ponto os intervenientes se encontram satisfeitos, motivados e participativos na vida da escola.

Encontra-se em Franco et al. (2003) uma revisão da literatura, a partir de seis trabalhos relevantes sobre características escolares e desempenho escolar. Dois deles foram produzidos nos Estados Unidos (Lee, Bryk, & Smith, 1993; Mayer, Mullens & Moore, 2000), um no Canadá (Willms, 1992) e um na Inglaterra (Sammons, Hillman & Mortimore, 1995), enquanto outros dois são de autores brasileiros (Mello, 1994; Brasil, 1998).

Os construtos propostos por Lee, Bryk e Smith (1993) para estudos de avaliação de eficácia de escolas secundárias quanto ao clima escolar são: a) envolvimento dos pais no aprendizado dos filhos; b) força dos vínculos escola-família para formar uma comunidade funcional em torno da escola, onde as preocupações de educadores e pais são abordadas; e c) relacionamento positivo entre professores e estudantes.

Brito e Costa (2010, p. 506) ressaltam outros aspectos que contribuem para compreensão do clima escolar, tais como: a) reconhecimento do professor sobre a influência do clima escolar na conduta do aluno e na própria; b) maior satisfação de atuar em escolas onde as regras são mais claras; c) maior comunicação entre a equipe de trabalho e d) mais disciplina. Os autores apontam que a literatura sobre o assunto tem destacado a figura do gestor como um importante agente na promoção de um clima favorável nas escolas, bem como a gestão democrática, a mobilização comunitária e o fortalecimento da equipe.

Ainda segundo Brito e Costa (2010), estes fatores parecem contribuir para o envolvimento dos professores nas atividades escolares, favorecendo o aprendizado dos alunos. No entanto, Enguita (1989) aponta que “… professores e pais costumam prestar pouca atenção àquilo que não seja o conteúdo do ensino, isto é, da comunicação, e o mesmo faz a maioria dos estudiosos da educação” (p. 158). O autor ainda salienta que apenas parte do tempo de professores e alunos em sala de aula é dedicada à transmissão ou aquisição de conhecimento; a maioria das horas é consumida pela tentativa do professor de forçar ou evitar rotinas, mantendo ou rompendo a ordem.

A escolarização é uma experiência complexa que produz efeitos duradouros muito mais amplos que o processo de instrução. Valores e atitudes desenvolvidos no espaço escolar serão transferidos a outros contextos institucionais e sociais. Essa instrumentalidade transcende a relação com os objetivos declarados da escola.

O clima escolar dependente do projeto político-pedagógico no que se refere a programas, processos utilizados, condições ambientais que caracterizam a escola como instituição, agrupamento de alunos, comunidade local, equipe escolar e de gestão. Cada escola possui seu clima próprio, que determina a qualidade de vida e a produtividade de docentes e alunos. Trata-se, portanto, de um fator essencial no trabalho educativo.

O clima da escola pode ser entendido numa dupla vertente (Carvalho, 1992, p. 18): por um lado, atua na realidade objetiva, exercendo força sobre todos os elementos da organização escolar; por outro, está ligado à estrutura subjetiva, sendo percebido por cada indivíduo nas interações com as práticas organizacionais.

A influência do clima sobre a satisfação dos professores parece se assentar nos tipos de relação interpessoal vividos na escola, na coesão do grupo de trabalho, no grau de implicação nas tarefas, e no apoio recebido durante a atividade (Carvalho, 1992, p. 23). Existe uma relação recíproca entre a satisfação do professor e sua percepção acerca do clima. Carvalho entende o conceito de clima como fenômeno cíclico, ou seja, seus efeitos recaem sobre si próprio, de tal modo que a satisfação dos professores pode ser entendida numa dimensão estrutural, como condição e não apenas efeito do clima.

Sendo assim, a importância do clima escolar está diretamente relacionada a alunos, professores e escola. A discussão feita por Gomes (2005) a respeito do tamanho da escola e/ou turma contempla ideias de vários autores (Cohn & Rossmiller, 1987; Scheerens & Bosker, 1997; Scheerens, 2000; Casassus, 2002; Mella et al., 2002), os quais afirmam que o bom clima, a pessoalidade do tratamento, a afetividade e a ausência ou raridade de episódios violentos são características de escolas de sucesso.

Neste sentido, escolas menores ou com menos alunos são as mais recomendadas, uma vez que instituições de grande porte apresentam mais casos de violência (Debarbieux, 2001; Blaya & Debarbieux, 2002). Escolas pequenas e próximas da comunidade são ambientes favoráveis à formação de alunos mais satisfeitos, responsáveis e participativos, podendo otimizar o fluxo de informação e melhorar a relação professor-aluno, a fim de promover a responsabilidade coletiva.

Gomes (2005) cita algumas das conclusões de estudos de Meuret, feitos na França no ano 2000. A respeito do comportamento dos professores, Meuret constatou que: a) os docentes menos eficazes eram os que tinham conceito negativo sobre seus alunos e não se sentiam à vontade no relacionamento com eles; b) os docentes eficazes tinham visão realista e diferenciada sobre seus alunos, defendendo a necessidade de adaptar seus modos de ensino a eles, quando o nível era baixo, sem, todavia, reduzir as exigências – isto é, mantinham os objetivos, porém diversificavam as estratégias.

Segundo Gomes (2005), o clima escolar e o da sala de aula aparecem nas análises qualitativas e convergem para uma atmosfera de encorajamento, altas exigências, tratamento pessoal, liderança do diretor, corpo docente, cordialidade, disciplina, relações próximas com a família e os alunos e, parcialmente em consequência disto, apoio dos pais. As controvérsias a respeito do tamanho da escola e do aproveitamento se dão no âmbito quantitativo e consideram, em última análise, as relações custo-benefício.

Conhecer as diferentes abordagens e relações que permeiam o clima no ambiente escolar, conforme caracterizado em diversos estudos, em certa medida possibilita a criação de modelos alternativos para o tratamento de dados sobre o clima escolar. O uso do conceito de clima escolar estratificado em fatores externos e internos, na perspectiva dos professores, pode trazer uma abordagem distinta para a discussão do tema.

Metodologia

Os dados utilizados neste estudo são provenientes, como dito anteriormente, do Projeto Geres. A dinâmica da coleta de dados referentes à visão dos professores sobre o clima escolar é apresentada a seguir.

Em março de 2005 ocorreu a primeira coleta do Projeto Geres, que foi desenhado para observar a mesma amostra ao longo de quatro anos. Esta amostra foi composta por 312 escolas, que ofereciam os anos iniciais do ensino fundamental em cinco polos (Belo Horizonte, Rio de Janeiro, Salvador, Campo Grande e Campinas), bem como por professores, diretores e alunos que estavam cursando os dois primeiros anos do ensino fundamental (independentemente da idade). Ao final da coleta dos dados, em 2008, o estudo contava com o registro de 35.538 alunos, 2.918 professores, 669 diretores.

As duas primeiras observações foram realizadas em março e novembro de 2005, com alunos do 1º ano do ensino fundamental (ou seu equivalente na organização por ciclos); a terceira ocorreu em novembro de 2006; a quarta, em novembro do ano seguinte; e a última foi realizada no final de 2008, acompanhando os quatro anos letivos das mesmas turmas, nas mesmas escolas. Segundo Franco, Brooke e Alves (2008, p. 629)

… o GERES focaliza os anos iniciais do Ensino Fundamental e tem como principais objetivos: 1. identificar as características escolares que maximizam a aprendizagem dos alunos e que minimizam o impacto da origem social sobre o aprendizado; 2. identificar os fatores escolares que diminuem a probabilidade de repetência dos alunos; 3. identificar aquelas características da escola que reduzem a probabilidade do absentismo.

Além de coletar e sistematizar dados e informações relevantes já disponíveis na escola, o Geres desenvolveu e fez uso dos questionários de contexto para pais, alunos, professores e diretores.

Os referenciais teórico-metodológicos da análise foram construídos considerando a característica básica dos indicadores educacionais e sua capacidade de sintetizar um conceito qualquer através do agrupamento de diversas variáveis. As implicações e especificações destes indicadores variam de acordo com os estudos, entretanto, no Brasil e em outros países seu foco coincide no que diz respeito à busca de formas adequadas para elevar os níveis de desempenho dos alunos, sendo imprescindível a análise do contexto para compreender os resultados obtidos, principalmente por se tratar de variáveis relativas (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2003). A estrutura dos indicadores internacionais mantém uma diretriz geral de agrupamentos (Muñoz Vitória, 1997), incluindo indicadores de contexto, recursos, processo e resultado.

Conforme Miranda (2006, p. 33), os indicadores atuam para sinalizar que “… alguma variável pode estar influenciando, tanto de maneira positiva quanto negativa o sistema escolar, não facultando a necessidade de se investigar todas as variáveis envolvidas”. A principal contribuição deles é iluminar a realidade, fornecendo elementos de juízo para interpretá-la (Bryk & Hermanson, 1993). Ademais, os indicadores educacionais devem trazer dados que favoreçam a reflexão de todos os atores, promovendo a compreensão da complexidade das instituições e dos processos educacionais em diferentes âmbitos.

Ainda existem poucas discussões sobre a construção de indicadores, contudo, é necessário que haja aprofundamento para viabilizar o uso destas medidas cumulativas, produzidas com frequência na pesquisa social. Lee, Bryk e Smith (1993, p. 209, tradução nossa) salientam que “… embora a pesquisa sobre o clima escolar apresente uma tendência empírica forte, seu embasamento teórico é frágil”, pois raramente se endereça às relações complexas entre fenômenos psicológicos, sociológicos e sociais inerentes a estes construtos. Esta também é uma limitação do estudo ora apresentado, pois as variáveis de clima estudadas são fruto de um estudo longitudinal sobre proficiência, que as utiliza de forma periférica para contextualizar os resultados. No entanto, como se verá, as variáveis emergem carregadas de significados.

Para esta análise foi utilizado o banco de dados Geres com 2.789 respostas dos professores, assim distribuídas nos polos: 371 (13,30%) em Salvador; 653 (23,4%) no Rio de Janeiro; 605 (21,7%) em Belo Horizonte; 686 (24,6%) em Campinas; e 474 (17%) em Campo Grande. Desse universo, 2.669 (95,7%) participantes se declaram do sexo feminino; 59 (2,1%) do sexo masculino; e 61 (2,2%) não responderam. A distribuição de respostas dos professores entre as redes foi: 1.426 (51,1%) na municipal; 661 (23,7%) na estadual; 578 (20,7%) na rede privada; e 124 (4,5%) na especial³.

Recorreu-se ao software IBM SPSS Statistic for Windows, versão 21.0 (Released 2012, Armonk, NY: IBM Corp.), envolvendo correlação de Spearman, análise de variância (Anova) associada ao teste de Tukey HSD. Considerou-se como valor significativo diferenças menores que 5% (p<0,05).

O processo de construção do indicador de clima escolar

Duas fontes colaboraram para a construção dos indicadores: os questionários contextuais do Projeto Geres aplicados aos professores e a análise com redução das variáveis explicadas por um construto ou fator latente, só observado mediante análise estatística. Para identificar os construtos ou confirmar a existência daqueles que foram construídos teoricamente, utilizou-se uma série de técnicas estatísticas denominadas genericamente de análise fatorial exploratória.

Os estudos de Faccenda, Dalben e Freitas (2011) sobre a capacidade explicativa dos questionários de contexto forneceram a este trabalho a base para escolher variáveis que formaram o construto do indicador de clima escolar (Quadro 1).

Quadro 1
Variáveis de clima escolar I e II — professores

Variável AFE	Banco de dados Geres - Professores
Descrição: Violência no ambiente escolar (Domínio: 1= FP06 = 3)
FP06	FP06	Drogas, violência e depredação no ambiente escolar. Em que medida:
CP03	q037	a violência física contra alunos impede o melhoramento desta escola?
CP03	q038	a intimidação a professores e funcionários impede o melhoramento desta escola?
CP03	q039	a violência física contra professores e funcionários impede o melhoramento desta escola?
CP03	q041	furto ou roubos de equipamentos da escola impede o melhoramento dela?
CP03	q045	o consumo de drogas nas proximidades da escola impede o melhoramento dela?
CP03	q046	a interferência do tráfico de drogas impede o melhoramento da escola?
CP03	q047	o consumo de drogas dentro da escola impede o melhoramento dela?
CP03	q048	a interferência do tráfico de drogas dentro da escola impede o melhoramento dela?
Descrição: Expectativas negativas em relação à educação (Domínio: 1= FP08 = 5)
FP08	FP08	Grau de expectativa negativa em relação ao aprendizado do aluno
CP05	q017_06	Com todos os atrativos a que as crianças podem ter acesso hoje em dia, é muito difícil para a escola fazer seu trabalho.
CP05	q020	Diante das dificuldades desta escola, um pequeno aprendizado dos alunos já é um bom resultado.
CP05	q025_06	Para que os alunos desta escola pudessem realmente aprender seria necessário que a educação fosse levada mais a sério neste país.
CP05	q032_06	Com as famílias que os alunos dessa escola têm, o aprendizado fica muito comprometido.
Descrição: Interrupção das aulas por indisciplina (Domínio: 1= FP28 = 7)
FP28	FP28	Indisciplina
CP14	Q063	bagunça dos alunos?
CP14	Q065	estudantes atrasados (na entrada, na volta do recreio)?
CP14	Q066	barulho no corredor?

• AFE: Análise Fatorial Exploratória; CP: Construto do professor; FP: Fator do professor
• Fonte: Elaborado pelos autores a partir de Faccenda, Dalben e Freitas (2011, p. 257)

Quanto ao resultado da análise fatorial que originou os construtos, vale ressaltar que neste trabalho os valores são orientados por Hair, Black, Babin, Anderson e Tatham (2009) e Worthington e Whittaker (2006), que consideram a carga fatorial dos itens igual ou superior a 0,50. A Tabela 1 apresenta a carga fatorial dos três construtos CP03, CP05 e CP14 do clima escolar, que contemplaram os pressupostos exigidos e atingiram os índices mínimos para a formação de cada construto. Segundo Hair et al. (2009, p. 120), “… para uma amostra grande, maior que 350, uma carga fatorial maior que 0,30 pode ser considerada estatisticamente significativa. Do ponto de vista prático, cargas fatoriais com valor absoluto maior que 0,5 são tidas como significativas”.

Tabela 1
Valores estatísticos do arquivo — professores

Construto		CP03	CP05	CP14
KMO (Kaiser-Meye r-Olkin)		0,918	0,683	0,672
% da variância explicada		61,26	56,96	68,53
Fator		FP06	FP08	FP28
Número de itens		8	4	3
Autovalor inicial		4,90	1,83	1,87
Alfa de Cronbach		0,91	0,60	0,62
Carga Fatorial	Min.	0,686	0,565	0,651
	Máx.	0,863	0,743	0,818
Comunalidade	Min.	0,470	0,691	0,522
	Máx.	0,744	0,691	0,673
Correlação item-fator	Min.	0,691	1,000	0,756
	Máx.	0,84	1,000	0,774
Correlação Interitens	Min.	0,425	0,200	0,290
	Máx.	0,880	0,342	0,408

• Fonte: Elaborado pelos autores a partir de Faccenda, Dalben e Freitas (2011, p. 257-259)

Uma vez identificados os fatores com maior poder de explicação sobre clima escolar, foi possível construir um indicador e, por conseguinte, fazer uma leitura de como ele se comporta em cada rede (especial, municipal, estadual e privada), concomitantemente verificando se havia diferenças entre esses tipos de instituição.

Mediante o número de variáveis e a natureza de cada uma optou-se por classificá-las em dois grupos: a) clima escolar I – fatores internos (construtos CP05 e CP 14), aqui considerados como controláveis pela ação da escola; e b) clima escolar II – fatores externos (construto CP03), considerado como incontrolável no âmbito escolar. Desta forma o objetivo principal foi isolar o que é próprio do ambiente escolar e o que se refere a fatores externos, mesmo reconhecendo a interdependência das variáveis estudadas.

Resultados

Para compreender os resultados obtidos é preciso abstrair a diversidade e as vantagens das escolas especiais e privadas, que não podem ser entendidas sem se considerar os sistemas de seleção e ingresso, seja de caráter financeiro ou em exames de seleção. Ademais, o grupo de estudantes é envolvido por fatores concorrentes, como origem social, tipo de estudo e passado escolar, aspectos conjunturais que impactam a atividade docente e, por conseguinte, sua percepção do clima dentro e fora da escola. Optou-se, assim, por apresentar os resultados segundo sua natureza, dividindo-os em internos e externos ao ambiente escolar.

Clima escolar I: fatores internos

Saraiva e Wagner (2013, p. 741) discutem a percepção dos professores sobre as famílias, apoiando-se nos estudos realizados por Hill e Taylor (2004) e Lewis e Forman (2002). Segundo esses trabalhos, os professores que provêm de contextos culturais diferentes dos seus alunos são menos propensos a conhecer esses sujeitos e suas famílias, quando comparados com aqueles oriundos de contextos culturais semelhantes ao da comunidade atendida pela escola. Os autores observam que as diferenças culturais entre professores e famílias fazem os primeiros acreditarem que tanto alunos quanto pais são desinteressados, ou que estes não se envolvem como deveriam na escolarização dos filhos.

Neste contexto, o estudo dos indicadores de clima escolar I (fatores internos) analisa a perspectiva do professor sobre vários elementos que influenciam o aprendizado dos alunos, ou seja, a composição do indicador considerou as seguintes variáveis: a) com todos os atrativos a que as crianças podem ter acesso hoje em dia, é muito difícil para a escola fazer seu trabalho (q017_06); b) diante das dificuldades desta escola, um pequeno aprendizado dos alunos já é um bom resultado (q020); c) para que os alunos desta escola pudessem realmente aprender seria necessário que a educação fosse levada mais a sério neste país (q025_06); d) com as famílias que os alunos dessa escola têm, o aprendizado fica muito comprometido (q032_06); e) bagunça dos alunos (Q063); f) estudantes atrasados (na entrada, na volta do recreio) (Q065); g) barulho no corredor (Q066).

As análises preliminares do banco de dados dos professores apontaram diferenças por ano, polos de aplicação e família versus aprendizado, este último pontualmente relacionado à rede em que o professor trabalha. Assim, os resultados obtidos por meio do Projeto Geres permitem examinar parte da complexa visão dos professores acerca do clima escolar.

Para compreender o significado dos números obtidos pelo construto do indicador clima escolar I (fatores internos), foi necessário estratificá-lo por polos de aplicação, rede e ano, a fim de identificar se haveria diferenças. A comparação das médias do indicador de clima escolar I entre os polos teve uma diferença significativa em três grupos: 1º – Salvador e Rio de Janeiro, com médias de 18,8 e 19,7, abaixo da geral; 2º – Belo Horizonte e Campinas, com 20,2 e 20,6 respectivamente; e 3º – Campo Grande, com média de 21,1, apresentando o melhor clima escolar interno.

Os dados revelaram que, independente do polo, existe uma correlação importante entre o indicador de clima escolar I e o estilo pedagógico do professor⁴, variando de 58% a 66%, e a correlação geral foi de 59%. Estes dados significam que 35,7% da variância dos dois indicadores foram compartilhados e que 64,3% podem ter outras explicações, tais como fatores externos do clima escolar, gestão, estímulo dos alunos, nível socioeconômico (NSE) e proficiência do aluno.

Não é raro ouvir comparações sobre o clima escolar entre as redes de ensino pública e privada nem considerar estas diferenças substanciais, pautadas somente em impressões de senso comum. Recorrer à opinião dos profissionais diretamente ligados ao trabalho pedagógico em sala de aula pode, em alguma medida, ajudar a verificar onde estão as diferenças e se elas existem realmente.

No cotejo entre as redes, as médias obtidas foram: 19,97 para escola privada; 19,98 para a municipal; e 21,20 para a estadual, não resultando em diferença estatisticamente significativa. Entretanto, a rede especial, com índice de 18,29, apresentou diferença importante em relação às outras, corroborando o argumento de Saraiva e Wagner (2013) sobre a influência das diferenças culturais entre professores e famílias. Do mesmo modo operam as características institucionais de “colégios militares e de aplicação”, que via de regra deixam mais rigorosa a visão dos professores sobre o clima no ambiente escolar.

Quando analisados separadamente, os dados evidenciam a percepção dos professores de que a composição familiar dos alunos compromete muito o aprendizado: 10% dos docentes de escolas especiais concordam que a formação da família interfere no aprendizado do aluno, enquanto na rede privada esse índice foi de 14%, e de 26,6% e 30,3% nas escolas estaduais e municipais respectivamente (Tabela 2).

Tabela 2
Fatores que influenciam o clima escolar I: família versus aprendizado

d) Com as famílias que os alunos dessa escola têm, o aprendizado fica muito comprometido?
Respostas		Especial	Estadual	Municipal	Privada
N1 discordo totalmente		24 (18,5%)	65 (9,5%)	75 (5%)	155 (25,5%)
N2 discordo parcialmente		20 (15,4%)	91 (13,3%)	133 (8,9%)	76 (12,5%)
N3 discordo		26 (20%)	122 (17,8%)	318 (21,3%)	82 (13,5%)
N4 concordo		11 (8,5%)	102 (14,9%)	209 (14%)	60 (9,9%)
N5 concordo totalmente		2 (1,5%)	80 (11,7%)	244 (16,3%)	25 (4,1%)
	Total	83 (63,8%)	460 (67,1%)	979 (65,6%)	398 (65,4%)
	Dados faltantes	47 (36,2%)	226 (32,9%)	514 (34,4%)	211 (34,6%)
	Total Geral	130 (100%)	686 (100%)	1493 (100%)	609 (100%)

• Fonte: Banco de dados do Projeto Geres 2008-arquivo dos professores

A taxa de dados faltantes variou de 32,9% a 36,2%, podendo indicar, entre outros motivos, uma rejeição à pergunta ou uma opinião não formada sobre o tema, o que pode resultar diretamente na ausência de diferença entre as redes. Portanto, considerando que os grupos de professores das diversas redes respondem de forma muito particular à influência da formação da família no aprendizado do aluno, é necessário checar se há diferenças de desempenho entre as redes cotejando os resultados das proficiências de matemática e português, a fim de minimizar e/ou controlar possíveis vieses causados pela taxa de dados faltantes.

A última medida de proficiência apurada pelo Projeto Geres indicou que a proficiência de matemática dos alunos das escolas especiais é 27,7% melhor do que nas escolas municipais e 23,7% superior às escolas estaduais. O mesmo ocorre com as proficiências de português dos alunos; as escolas especiais apresentam resultado 15,8% melhor do que as escolas municipais e 13,6% melhor em relação às escolas estaduais.

A proficiência do aluno está relacionada de forma explícita com a percepção do professor sobre o binômio família-aprendizado e interrupções das aulas. Esses fatores aparecem como impeditivos às suas possibilidades de trabalho, e consequentemente indicam que quanto maior a dificuldade menor será a proficiência.

A comparação das médias⁵ do indicador de clima escolar I estratificada entre os anos iniciais apresenta diferença significativa entre três grupos: 1) 1º ano, 2) 2º ano e 3) 3º e 4º anos. A média geral do indicador foi de 20,19, e o primeiro ano obteve média abaixo da geral (12,17) em todas as redes de ensino pesquisadas. Esse resultado pode ser explicado, em parte, por se tratar do ano de ingresso da criança no ambiente escolar do ensino fundamental; as novidades, o conhecimento e a adequação às regras institucionais ainda não foram internalizados pelos estudantes.

No que se refere ao 2º ano, o indicador de clima escolar I apresenta uma correlação moderada quando cotejado com as proficiências de matemática e português (31% e 32% respectivamente). A análise entre o clima escolar I e o estilo pedagógico do professor do 2º ano resultou em alta correlação (53,9%), indicando influência da associação do clima escolar I e do estilo pedagógico na proficiência dos alunos. Entretanto, esta associação no 3º ano, apesar de significativa, foi perdendo força até o 4º ano (21,8% e 15,2% respectivamente).

As limitações impostas pelos dados permitem somente inferir que as peculiaridades apontadas no 2º ano indicam diferenças importantes em relação aos outros anos, carecendo de aprofundamento para compreensão mais ampla do fenômeno. O 2º ano apresenta o ponto crítico de mudança nos resultados do clima, com tendência a piorar nos anos iniciais posteriores do ensino fundamental, o que poderia ser um indicativo para elaboração de ações pontuais com foco no clima da escola.

Outra variável que se destacou na avaliação dos professores das redes municipais e estaduais foi a relação da família com a aprendizagem dos alunos, pois este grupo de profissionais concorda ou concorda totalmente que a composição familiar do aluno compromete seu aprendizado.

Clima escolar II: fatores externos

O clima escolar entre redes de ensino, ainda pouco estudado, pode revelar diversas facetas do mesmo fenômeno, notadamente quando analisamos os fatores externos de clima da escola na visão dos professores. Assim, o indicador do clima escolar II (fatores externos) contemplou as variáveis sobre em que medida: a) a violência física contra alunos impede o melhoramento desta escola (q037); b) a intimidação a professores e funcionários impede o melhoramento desta escola (q038); c) a violência física contra professores e funcionários impede o melhoramento desta escola (q039); d) furto ou roubos de equipamentos da escola impede o melhoramento dela (q041); e) o consumo de drogas nas proximidades da escola impede o melhoramento dela (q045); f) a interferência do tráfico de drogas impede o melhoramento da escola (q046); g) o consumo de drogas dentro da escola impede o melhoramento dela (q047); h) a interferência do tráfico de drogas dentro da escola impede o melhoramento dela (q048). Essas variáveis, em alguma medida neste estudo, explicam 61% do indicador.

Da mesma maneira que o clima escolar I (fatores internos), o indicador do clima escolar II (fatores externos) foi também estratificado por polos de aplicação e rede. No que concerne aos polos, não foram encontradas diferenças, o que reflete a homogeneidade dos fatores externos estudados. Quando estratificado por rede, esse indicador mostrou que as escolas municipais e estaduais possuem clima mais desfavorável para o aprendizado, principalmente pela violência entre alunos e pela interferência do tráfico e/ou consumo de drogas em regiões próximas. Os professores avaliam que existe uma influência importante dos fatores externos em suas escolas. Abramovay (2002, p. 140) destaca esse tópico:

Muitos professores também acreditam ser extremamente fácil o acesso às drogas não só pela existência de pontos de venda de droga em vários locais das cidades, o que possibilita ao jovem a compra de drogas a qualquer momento, mas também pela presença de traficantes nas proximidades das escolas…

Os professores percebem a interferência externa de diferentes maneiras; 23,3% dos docentes da rede municipal e 22,6% da estadual consideraram que há grande influência na escola, enquanto nas redes especial e privada as taxas foram de 9,4% e 6,7% respectivamente. Essa diferença pode ser explicada pelas condições gerais a que os alunos, professores e famílias estão submetidos em cada rede.

Cabe ressaltar que, em se tratando de violência, faz-se necessário o enfrentamento dos conflitos no contexto escolar, com o objetivo de preveni-los ou superá-los, como parte de uma ação propositiva que minimize as situações conflituosas. Abramovay (2002, p. 83) afirma que “… de qualquer forma, as violências podem ser gratuitas e tendem a surgir por motivos fúteis, e esta foi a grande convergência de opiniões de alunos das escolas públicas e particulares”. Para os professores a violência entre alunos é menos frequente nas escolas privadas e especiais, com resultados que variam de 10% a 12,8%, contra 32% a 38,2% das escolas estaduais e municipais. Também em relação ao tráfico de drogas, as escolas privadas e especiais apresentaram resultados de 10,6% a 21,6% contra 37% a 46,1% das escolas estaduais e municipais, o que sugere possível impedimento nas condições gerais de melhoria da escola por influência destes fatores.

Os estudos sobre clima escolar de Brito e Costa (2010, p. 506) mostram que: “… a opinião dos professores sobre como veem as diferenças entre as escolas revelou certa naturalização dessas diferenças, e foram unânimes em indicar o aluno, a família e aspectos socioeconômicos como fatores principais”. Ainda segundo os autores, a tendência predominante no discurso dos professores entrevistados corresponde à força determinante dos aspectos extraescolares sobre as diferenças escolares.

Segundo Saraiva e Wagner (2013, p. 741), os professores pautam suas expectativas e entendimento das famílias na classe social da comunidade que atendem, alimentando uma falsa crença de que os pais de NSE menos favorecido não estão preocupados com seus filhos, sendo negligentes e pouco participativos, bem como desqualificam sua participação no currículo escolar em função da sua formação educacional, sugerindo que esses pais deveriam apenas comparecer nas reuniões e entregas de boletim. Os autores apontam uma grande assimetria na relação família-escola, destacando que o conhecimento propagado pela escola é visto pelos pais como superior ao seu, o que os leva a pensar que não estão aptos e sequer possuem requisitos para tornar seus questionamentos legítimos.

O NSE das famílias, apesar de não esclarecer todo o seu sentido, sua interferência no clima escolar II é comprovada em muitos estudos. Coleman et al. (1966) já salientavam a importância das variáveis socioeconômicas no desempenho dos alunos. Assim, este estudo usou dados do questionário dos pais e alunos, aplicado na 4ª onda, para identificar o nível educacional e a profissão dos pais bem como os objetos de consumo presentes na casa do aluno (Franco, Brooke & Alves, 2008), gerando um indicador que reflete o NSE das famílias, enquanto o NSE da escola foi composto pela média aritmética do NSE das famílias atendidas.

O NSE das redes agrupadas, como pública e privada, apresentou diferença estatística com valores inferiores para a rede pública. A média do indicador de clima escolar II foi de 18,4 na rede pública e de 20,2 na privada, com diferença estatística (p<0,0001), indicando a influência do NSE. Verificou-se, ainda, que a distribuição deste indicador possui uma correlação positiva para obtenção da proficiência de matemática e português (32% e 34%, p<0,0001), sugerindo que o clima escolar II (fatores externos), quando positivo, influencia significativamente a proficiência final dos alunos.

Considerações finais

Este artigo, com o objetivo de apresentar a visão dos professores dos anos iniciais do ensino fundamental sobre o clima no ambiente escolar, se apresenta como uma primeira aproximação do modelo de cálculo que transformou as respostas dos professores em itens mensuráveis. Desta forma, a partir dos resultados obtidos na pesquisa, pode-se considerar que o indicador do clima escolar I não apresenta diferença significativa no comportamento dos alunos dos quatro primeiros anos do ensino fundamental na visão dos professores das redes pesquisadas, à exceção da rede especial, que mostra diferença de clima escolar em relação às demais.

No entanto, sobre a interferência da família na aprendizagem dos alunos, as respostas revelaram diferença: nas escolas municipais, os professores demonstraram maior tendência a concordar que a composição familiar do aluno compromete seu aprendizado, enquanto nas escolas estaduais os professores concordam fortemente com essa afirmação, e o mesmo não acontece nas escolas privadas e especiais. Isso convalida estudos de Brito e Costa (2010), segundo os quais existem “padrões de interações sociais presentes no contexto escolar” que podem facilitar ou dificultar o trabalho pedagógico.

Os primeiros anos apresentam indicador de clima escolar I abaixo da média geral – uma peculiaridade de todas as quatro redes que pode indicar necessidade de investigação dos fatores associados à singularidade deste período escolar, pois remete às primeiras experiências dos alunos neste ambiente, seja pela novidade do espaço, seja pela adequação às regras institucionais, entre outros motivos. Existe alta correlação entre clima escolar I e estilo pedagógico no 2º ano, bem como entre estilo pedagógico e proficiência do aluno, o que vai diminuindo até o 4º ano.

Os dados demonstram que a avaliação dos professores das redes municipais e estaduais sobre a influência dos fatores externos é até três vezes maior do que nas demais redes. Lee, Bryk e Smith (1993), embora se referissem às escolas secundárias, também sinalizavam que a força dos vínculos escola-família para formar uma comunidade funcional em torno da escola era relevante para favorecer o clima escolar.

As variáveis do clima escolar II (fatores externos) apontaram que as redes municipais e estaduais possuem clima mais desfavorável ao aprendizado, principalmente pela violência entre alunos e pela interferência do tráfico ou consumo de drogas nas regiões próximas às escolas.

Os limites e possibilidades do clima escolar são foco de sistemáticas discussões entre educadores, famílias e alunos. O fenômeno se mostra cada vez mais presente no embate acadêmico, na busca por produzir conhecimento que explique e aproxime a realidade do cotidiano escolar, a fim de entender as emergências e situações manifestas quase sempre pela violência, que afastam a superação das dificuldades de relacionamento, indisciplina e conflitos na escola.

Cunha (2014), em seu estudo exploratório, destaca que o clima de escolas cujos alunos relatam mais ocorrências de violência é avaliado negativamente por eles, o mesmo ocorrendo nas percepções de violência dentro e fora da escola, e na associação entre percepções a respeito da existência de drogas e de violência no espaço escolar.

O ponto de inflexão onde começa a minimização dos conflitos no ambiente da escola passa pelo diálogo entre os mais diversos segmentos, tendo o professor como principal mediador dos processos educativos e facilitador do diálogo.

Ao indicar as características de uma boa escola, o relatório SAEB-2003 (Brasil, 2004) aponta a importância de conduzir os alunos a um bom relacionamento coletivo, produtivo e prazeroso. Sugere, ainda, como condição essencial para que isso seja atingido, que os professores acreditem em seus alunos e que sejam colocadas em ação estratégias para a integração efetiva da comunidade ao cotidiano escolar.

Eyng, Gisi, Ens e Pacievitch (2013) indicam que o relacionamento entre professores e alunos é predominantemente bom, no entanto, observam por parte dos professores uma tentativa de responsabilizar os alunos pelas melhorias nesse relacionamento. Consideram, ainda, que o aprendizado dos estudantes está atrelado ao contexto social, econômico e familiar da comunidade na qual a escola se situa.

O clima escolar educa os novos alunos segundo suas referências, construídas a partir das experiências e ações desenvolvidas na escola sobre a responsabilidade da equipe, tanto de caráter pedagógico quanto administrativo, portanto, não pode ser só intuitiva. “… A intuição agrega valor… mas somente após uma coleta disciplinada de informação objetiva e uma pontuação disciplinada de características isoladas” (Kahneman, 2012, p. 289). Em outras palavras, o senso comum tem limites; as primeiras impressões, favoráveis ou não, não devem influenciar julgamentos futuros.

As intervenções devem ser contínuas e sistematizadas a partir de estudos e experiências adquiridas ao longo do processo. Comprovou-se que um adequado clima escolar impacta a qualidade social da escola; por outro lado, qualquer tipo de violência, física ou moral, acarreta perda de rendimento discente e docente, abalando a confiança, a autoestima e reduzindo a capacidade do processo educativo de transmitir valores e formar cidadãos capazes de conviver e resolver pacificamente suas divergências.

Este estudo buscou explorar os dados sobre clima escolar revelando fatores externos e internos apontados pelos professores que, com maior ou menor intensidade, estão presentes tanto em escolas públicas quanto privadas. Fica o desafio de descobrir se existe um tratamento divergente sobre os mesmos aspectos em cada tipo de instituição.

• 1
  Normalização, preparação e revisão textual: Mônica Silva (Tikinet)
• 2
  O Geres envolveu cinco instituições com tradição em avaliação educacional, a saber: o Laboratório de Avaliação da Educação da Pontifícia Universidade Católica do Rio de Janeiro (Laed/PUC-Rio), o Grupo de Avaliação e Medidas Educacionais da Universidade Federal de Minas Gerais (Game/UFMG), o Laboratório de Observação e Estudos Descritos da Universidade Estadual de Campinas (Loed/Unicamp), a Linha de Pesquisa de Avaliação da Educação do Programa de Pós-Graduação em Educação da Universidade Federal da Bahia (PPGE/UFBA), o Centro de Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF) e a Universidade Estadual do Mato Grosso do Sul (UEMS).
• 3
  Escola especial neste estudo se divide em: três colégios de aplicação ligados à universidade, dois colégios militares e uma escola federal.
• 4
  Estilo pedagógico: Maneira de o professor exprimir-se utilizando palavras, expressões que identificam as ações educativas e características necessárias às escolas para cumprirem seus propósitos e sua intencionalidade (Miranda & Bertagna, 2013).
• 5
  Para comparar as médias utilizou-se a Anova, que procura verificar se existem diferenças nas médias dos grupos. Posteriormente aplicou-se o teste de Tukey HSD para identificar quais grupos eram diferentes.

Referências

• Abramovay, M. (Org.). (2002). Escola e violência Brasília, DF: Unesco. Recuperado de http://unesdoc.unesco.org/images/0012/001287/128717por.pdf
  » http://unesdoc.unesco.org/images/0012/001287/128717por.pdf
• Babbie, E. (1999). Métodos de pesquisa de Survey (G. Cezarino, trad.). Belo Horizonte: Editora UFMG. (Trabalho original publicado em 1997).
• Blaya, C., & Debarbieux, E. (Orgs). (2002). Violências nas escolas e políticas públicas Brasília, DF: Unesco.
• Brasil. Ministério da Educação e do Desporto. Secretaria de Educação Fundamental. (1998). Referenciais para formação de professores Brasília, DF.
• Brasil. Ministério da Educação. (2004). Resultados do SAEB 2003 (Versão preliminar). Brasília, DF: Inep.
• Brito, M. S. T., & Costa, M. (2010). Práticas e percepções docentes e suas relações com o prestígio e clima escolar das escolas públicas do município do Rio de Janeiro. Revista Brasileira de Educação, 15(45):500-594.
• Bryk, A. S., & Hermanson, K. L. (1993). Educational indicator systems: Observations on their structure, interpretation and use. Review of Research in Education, 19:451-484.
• Carvalho, L. M. (1992). Clima de escola e estabilidade dos professores Lisboa: Educa-Organizações. Recuperado de http://repositorio.ul.pt/handle/10451/3701.
  » http://repositorio.ul.pt/handle/10451/3701.
• Casassus, J. (2002). A escola e a desigualdade Brasília, DF: Plano.
• Cohn, E., & Rossmiller, R. A. (1987). Research on effective schools: Implications for less developed countries. Comparative Education Review. 31(3): 377-399.
• Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, A. M., Weinfeld, F. D., et al. (1966). Equality of educational opportunity Washington, DC: U.S. Government Printing Office. Recuperado de http://files.eric.ed.gov/fulltext/ED012275.pdf.
  » http://files.eric.ed.gov/fulltext/ED012275.pdf.
• Costa, A. F. L. (2010). A percepção dos professores de diferentes ciclos de ensino Dissertação de mestrado, Faculdade de Psicologia e de Ciências da Educação, Universidade de Coimbra, Coimbra. Recuperado de https://estudogeral.sib.uc.pt/bitstream/10316/15582/1/a.costa.pdf.
  » https://estudogeral.sib.uc.pt/bitstream/10316/15582/1/a.costa.pdf.
• Cunha, M. B., & Costa, M. (2009). O clima escolar de escolas de alto e baixo prestígio. In: Associação Nacional de Pós-Graduação e Pesquisa. 32ª Reunião anual da ANPED, Caxambu, MG. Recuperado de http://32reuniao.anped.org.br/arquivos/trabalhos/GT14-5645--Int.pdf
  » http://32reuniao.anped.org.br/arquivos/trabalhos/GT14-5645--Int.pdf
• Cunha, M. B. (2014). Possíveis relações entre percepções de violência dos alunos, clima escolar e eficácia coletiva. Educação e Pesquisa. 40(4):1077-1092.
• Debarbieux, E. (2001). A violência na escola francesa: 30 anos de construção social do objeto (1967-1997). Educação e Pesquisa. 27(1), 163-193.
• Enguita, M. F. (1989). A face oculta da escola: Educação e trabalho no capitalismo (T. T. Silva, trad.). Porto Alegre: Artes Médicas.
• Eyng, A. M., Gisi, M. L., Ens, R. T., & Pacievitch, T. (2013). Diversidade e padronização nas políticas educacionais: Configurações da convivência escolar. Ensaio: Avaliação e Políticas Públicas em Educação. 21(81):773-800.
• Faccenda, O., Dalben, A., & Freitas, L. C. (2011). Capacidade explicativa de questionários de contexto: Aspectos metodológicos. Revista Brasileira de Estudos Pedagógicos. 92(231):246-267.
• Franco, C., Brooke, N., & Alves, F. (2008). Estudo longitudinal sobre qualidade e equidade no ensino fundamental brasileiro: Geres 2005. Ensaio: Avaliação Política Pública Educação, 16(61):625-638.
• Franco, C., Fernandes, C., Soares, J. F., Beltrão, K. I., Barbosa, M. E., & Alves, M. T. G. (2003). O referencial teórico na construção dos questionários contextuais do SAEB 2001. Estudos em Avaliação Educacional. 28:39-71.
• Gomes, C. A. (2005). A Escola de Qualidade para Todos: Abrindo as Camadas da Cebola 1. Ensaio: Avaliação e Políticas Públicas em Educação. 13(48):281-306.
• Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009). Análise multivariada de dados (6a ed.). Porto Alegre: Bookman.
• Hill, N. E., & Taylor, L. C. (2004). Parental school involvement and children’s academic achievement. Current Directions in Psychological Science. 13(4):161-164.
• Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2003). Sinopse da educação básica de 2003 Brasília, DF. Recuperado de http://portal.inep.gov.br/sinopses-estatisticas-da-educacao-basica
  » http://portal.inep.gov.br/sinopses-estatisticas-da-educacao-basica
• Kahneman, D. (2012). Rápido e devagar: Duas formas de pensar (C. Arantes Leite, trad.). Rio de Janeiro: Objetiva. (Trabalho original publicado em 2011).
• Lee, V. E., Bryk, A. S., & Smith, J. (1993). The Organization of Effective Secondary Schools. In: L. Darling-Hammond. Review of Research in Education Washington, DC: American Educational Research Association, pp. 171-267.
• Lewis, A. E., & Forman, T. A. (2002). Contestation or collaboration? A comparative study of home-school relations. Anthropology & Education Quarterly. 33(1):60-89.
• Mayer, D. P., Mullens, J. E.; Moore, M. T. (2000). Monitoring School Quality: An indicators report NCES 2001-030 Washington, DC: U.S. Department of Education. National Center for Educaton Statistics.
• Mello, G. N. (1994). Escolas eficazes: Um tema revisitado. In: A. C. Xavier. (Org.), Gestão Escolar: Desafios e tendências Brasília, DF: Ipea, pp. 329-369.
• Mella, O. et al. (2002). Qualitative study of schools with outstanding results in seven Latin American countries Santiago, Chile: Unesco, Latin American Laboratory for Assessment of the Quality of Education.
• Miranda, E. C. M. (2006). O SAEB-2003 no estado de São Paulo: Um estudo multinível Dissertação mestrado, Universidade Estadual de Campinas, Campinas.
• Miranda. A. C., & Bertagna, R. H. (2013). Relatório Geres: Clima escolar (Relatório de pesquisa). Universidade Estadual de Campinas, Campinas.
• Muñoz Vitória, F. (1997). Modelos y ejemplos. Cuadernos de Pedagogía. 256:54-61.
• Saraiva, L. A., & Wagner, A. (2013). A relação família-escola sob a ótica de professores e pais de criança que frequentam o ensino fundamental. Ensaio: Avaliação e Políticas Públicas em Educação. 21(81):739-773.
• Sammons, P., Hillman, J., & Mortimore, P. (1995). Key Characteristics of Effective Schools: A review of school effectiveness research London: Office for Standards in Education [OFSTED].
• Scheerens, J. (2000). Improving school effectiveness Paris: Unesco, International Institute for Educational Planning.
• Scheerens, J., & Bosker, R. (1997). The foundations of educational effectiveness Oxford: Pergamon.
• Willms, J. D. (1992). Monitoring school performance Washington, DC: The Falmer Press.
• Worthington, R., & Whittaker, T. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist. 34(6):806-838.

Datas de Publicação

• Publicação nesta coleção
  16 Set 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  24 Jul 2016
• Revisado
  08 Set 2017
• Aceito
  19 Fev 2018