Indicadores de qualidade na educação: análise discriminante dos desempenhos na Prova Brasil

Indicadores de calidad en la educación: análisis discriminante de los desempeños en la Prova Brasil

RESUMO

O presente estudo identifica as variáveis contextuais que melhor diferenciam o desempenho obtido por estudantes dos anos finais do ensino fundamental das escolas estaduais capixabas na Prova Brasil de 2013 por meio de análise discriminante, tendo como amostra 124 escolas. Os resultados demostraram que a distorção idade-série, o índice de regularidade docente e a taxa de abandono formaram um conjunto ótimo de variáveis para distinguir as escolas com “melhores” e “piores” desempenhos capixabas. A técnica utilizada contribui com o trabalho de pesquisadores e gestores, uma vez é possível se apropriar desse método com objetivos de traçar o perfil (descrição), a diferenciação (inferência) ou a classificação (predição) de escolas, bem como de reorganizar suas ações e seus investimentos com base em variáveis contextuais prioritárias, com amplo potencial de modificar os desempenhos escolares de suas regiões na Prova Brasil.

PALAVRAS-CHAVE:
políticas educacionais; indicadores educacionais; gestão educacional; desempenho escolar; análise discriminante

RESUMEN

El presente estudio identifica las variables contextuales que mejor diferencian el desempeño obtenido por estudiantes de los años finales de la enseñanza fundamental de las escuelas estatales del estado de Espírito Santo en la Prova Brasil de 2013 por medio de análisis discriminante, teniendo como muestra 124 escuelas. Los resultados demostraron que la distorsión edad-serie, el índice de regularidad docente y la tasa de abandono formaron un conjunto óptimo de variables para discriminar a las escuelas con “mejores” y “peores” desempeños. La técnica utilizada contribuye con el trabajo de investigadores y gestores, ya que pueden apropiarse de ese método con objetivos de trazar el perfil (descripción), la diferenciación (inferencia) o la clasificación (predicción) de escuelas, así como de reorganizar sus acciones y sus inversiones en base a variables contextuales prioritarias, con amplio potencial de modificar los desempeños escolares de sus regiones en la Prova Brasil.

PALABRAS CLAVE:
políticas educativas; indicadores educativos; gestión educativa; rendimiento escolar; análisis discriminante

ABSTRACT

The present study identifies the contextual variables that best differentiate the performance obtained by students from the final grades of primary education in state schools of Espírito Santo in the Prova Brasil of 2013 through discriminant analysis, with a sample of 124 schools. The results showed that the age-series distortion, the teacher regularity index and the abandonment rate formed an optimal set of variables to discriminate the schools with “better” and “worse” school performance. The technique used contributes to the work of researchers and managers, as they can appropriate this method with the purpose of tracing the profile (description), differentiation (inference) or classification (prediction) of schools. Moreover, researchers and managers can reorganize their actions and investments based on priority contextual variables, with broad potential to change the school performance of their regions in Prova Brasil.

KEYWORDS:
educational policies; educational indicators; educational management; school performance; discriminant analysis

APRESENTAÇÃO

Dispositivos de avaliação da qualidade da educação aplicados por instituições externas às escolas começaram a ser utilizados em uma escala planetária após a segunda metade do século XX. Atualmente eles integram o conjunto de marcos regulatórios preconizados por agências e organismos multilaterais e vêm sendo assimilados pela administração pública em diversos países ao redor do globo (Akkari, 2011). No Brasil, a exemplo do que ocorreu em grande parte da América Latina e do Caribe (Beech, 2009), a adesão aos modelos internacionais de avaliação aconteceu lentamente, na passagem da década de 1980 para a década de 1990, até a criação do Sistema Nacional de Avaliação da Educação Básica (SAEB). Em seus vinte e sete anos de existência, o SAEB se consolidou não apenas enquanto o principal exame do desempenho educacional no país, mas também como uma poderosa ferramenta analítica que pauta políticas públicas e estabelece parâmetros oficiais para definir o que convencionou chamar de “qualidade” na educação básica.

A partir de 2005, com a criação da Prova Brasil, e de 2007, com a formulação do Índice de Desenvolvimento da Educação Básica (IDEB), o SAEB foi ampliado e redimensionado para se adequar às prerrogativas internacionais de “competitividade” e de “eficiência” na formação escolar. Desde então, o sistema brasileiro examina escolas e estudantes das redes públicas e privadas, em áreas rurais e urbanas, matriculados nos anos iniciais e finais do ensino fundamental e que estão concluindo o ensino médio. Desse modo, como já observou Coelho (2008, p. 231), “a avaliação se firma cada vez mais como elemento da regulação e da administração gerencial e competitiva do ‘Estado-avaliador’ no Brasil”, ou seja, como um instrumento que promove o aumento da interferência e do controle sobre a educação.

Nesse processo, o desempenho estudantil tornou-se sinônimo de qualidade educacional e os índices oficiais favoreceram o surgimento de estudos acadêmicos que procuram descobrir os motivos que levam determinadas escolas a apresentarem “melhores” resultados que outras. O adensamento dessas pesquisas sobre eficácia escolar indica que aspectos contextuais, organizacionais, de monitoramento e pedagógicos contribuem para o desenvolvimento estudantil, tornando determinadas escolas mais ou menos capazes de oferecer com equidade uma educação de qualidade (Karino e Laros, 2017). Uma parcela considerável desses estudos emprega abordagens quantitativas para analisar os dados referentes à educação básica e estimar o “efeito-escolar” produzido por cada instituição ou sistema de ensino, sinalizando à administração pública da educação quais seriam os fatores contextuais e as práticas escolares prioritárias no desenvolvimento educacional do país.

Muitas das discussões promovidas pela área de eficácia escolar, no entanto, têm sido conduzidas pelo conjunto de variáveis que melhor explicaria a variação das notas obtidas pelas escolas e por estudantes. Apesar da contribuição desses estudos para a compreensão das condições de ensino no país, observa-se uma lacuna analítica, pois inúmeros trabalhos da área deixam de analisar as características que distinguem escolas com desempenhos diferenciados.

Os estudos predominantes na área, em geral, resultam da aplicação de modelos de regressão visando a:

• compreender como cada variável independente (e.g., complexidade da gestão escolar) influencia a variável dependente (e.g., nota na Prova Brasil);

• afirmar, com certo nível de confiança, se a relação entre as variáveis independentes e a variável dependente é atribuível a acaso; e

• desenvolver um modelo para prever o valor da variável dependente em observações fora da amostra com a qual se gerou a equação preditiva.

Porém, se houver grande variação na variável dependente entre as observações, muitos estudos, por tomar valores médios de todo o conjunto de dados, oferecem medidas imprecisas de eficácia quando o conjunto de dados é dividido em grupos mutuamente exclusivos e coletivamente exaustivos. Por isso, parece razoável investigar a pertinência de escolas a grupos com desempenhos mais ou menos eficazes considerando a série de indicadores contextuais usualmente utilizados para a avaliação escolar.

Diante desse cenário, com a presente investigação pretendemos contribuir com o debate acadêmico em torno da análise das métricas oficiais adotadas pelo Estado brasileiro para avaliar a escolarização básica, oferecendo uma maneira alternativa de interpretá-las: a análise discriminante. Essa técnica é aplicada quando os objetivos da pesquisa envolvem a análise de informações retiradas de variáveis independentes para se alcançar a separação (discriminação) mais nítida possível entre grupos, a fim de traçar o perfil (descrição), a diferenciação (inferência) ou a classificação (predição) dos grupos. Para tanto, a análise discriminante utiliza a ideia de encontrar uma combinação linear das variáveis independentes que produziria, pela abordagem de Fisher, pontuações discriminantes “maximamente diferentes” ou, pela abordagem de Mahalanobis, encontrar o locus dos pontos “equidistantes” das médias dos grupos por uma medida de distância da covariância ajustada (Eisenbeis e Avery, 1972).

Nesta pesquisa objetivamos identificar as variáveis que melhor distinguem as escolas com desempenhos diferenciados e desenvolver funções discriminantes que representem tais diferenças a partir dos próprios critérios de eficácia atualmente utilizados na Prova Brasil. Para tanto, iniciamos o texto com uma descrição geral do processo de estruturação da rede de estudos sobre eficácia escolar no Brasil e procuramos demonstrar algumas de suas principais contribuições para a análise dos fatores que influenciam o desempenho escolar. A seção seguinte traça um panorama histórico da construção e do aperfeiçoamento do SAEB, principal mecanismo de avaliação da qualidade da educação básica no país. Logo após essa contextualização do SAEB, apresentamos a perspectiva teórico-metodológica utilizada na coleta e na análise dos dados. Por fim, empreendemos uma análise exploratória a respeito da influência das variáveis contextuais nas notas obtidas na Prova Brasil de 2013 por estudantes do Espírito Santo que cursaram os anos finais do ensino fundamental.

A intenção não é simplesmente avalizar as variáveis atualmente utilizadas pelo SAEB, mas preparar interpretações e usos alternativos desses indicadores com o objetivo de contribuir com a pesquisa e a gestão escolar. Desse modo, propomos uma análise discriminante que tem o potencial de indicar, entre os fatores que são oficialmente considerados relevantes na definição da qualidade do ensino no país, quais deles seriam particularmente prioritários para distinguir as escolas com “melhores” e “piores” desempenhos e, por consequência, adensar a compreensão da organização das escolas capixabas, bem como subsidiar a atuação estratégica no estado do Espírito Santo. Trata-se, sem dúvida, de uma análise incomum se considerarmos a literatura especializada na área, visto que a maioria dos estudos quantitativos sobre o tema avaliam apenas a influência de variáveis sobre o desempenho das escolas. Nesse caso, mais que oferecer um ponto de vista regional sobre o impacto de um exame nacional, este texto procura avaliar as variáveis contextuais que discriminam escolas com desempenhos diferenciados na Prova Brasil sob a suposição que a avaliação comparativa de grupos homogêneos entre si e diferentes de outros pode descortinar relações ainda desconhecidas e oferecer insights tanto para a gestão quanto para as pesquisas educacionais.

A FORMAÇÃO DA REDE DE ESTUDOS SOBRE EFICÁCIA ESCOLA

A pergunta sobre os contextos nos quais o ensino escolar se desenvolve e a sua influência na formação humana não é nova nos debates educacionais. Já se passou mais de meio século desde que as primeiras pesquisas interessadas em identificar fatores que estariam impactando positiva ou negativamente o desempenho escolar começaram a aparecer no cenário internacional. O marco usualmente apontado pela literatura especializada da área é o Coleman Report, pulicado em 1966, no qual foram analisadas as causas para as diferenças de desempenho entre escolas norte-americanas (Coleman et al., 1966). Essa pesquisa gerou enormes controvérsias na comunidade acadêmica ao indicar que cerca de 90% da variação nos resultados escolares poderia ser atribuída a condições socioeconômicas de estudantes ou de seus familiares - sinalizando, assim, que, uma vez controlados os fatores extraescolares, as escolas teriam pouca influência sobre a qualidade da educação que oferecem. Desde então, diversas discussões (sob diferentes níveis de análise) sobre possíveis efeitos escolares no desempenho acadêmico têm sido realizadas (e.g., Alves e Soares, 2013; Machado, Alavarse e Oliveira, 2015). No Brasil, sobretudo, isso tem acontecido adotando como proxy de eficácia escolar as notas na Prova Brasil (e.g., Palermo, Silva e Novellino, 2014).

Em reação à desestabilização do papel da escolarização provocada pelo Coleman Report, inúmeros outros estudos foram produzidos nas décadas seguintes com a intenção de demonstrar como as escolas, independentemente das desigualdades socioculturais em que estivessem imersas, poderiam “fazer a diferença” nas trajetórias estudantis e contribuir efetivamente para promover a equidade social através da educação formal (e.g., Edmonds, 1979; Mortimore et al., 1988; Rutter et al., 1979). Nesse processo, redes acadêmicas de estudos sobre eficácia escolar começaram a se configurar ao final do século XX, reunindo conjuntos diversificados de investigações quantitativas e qualitativas que visavam analisar os efeitos das instituições de ensino sobre o desenvolvimento de habilidades e de competências consideradas básicas para as diferentes etapas da escolarização, bem como sugerindo maneiras de tornar o trabalho pedagógico mais efetivo (Carvallo-Pontón, 2010).

O adensamento desses estudos sobre eficácia escolar nas décadas de 1970 e 1980 possibilitou a Scheerens (1990) formular um modelo teórico de análise da escola que se converteria em uma representação central para as pesquisas subsequentes da área. Em sua proposta, o autor integrou em uma mesma perspectiva fatores extraescolares com fatores intraescolares, caracterizados de inputs, processos de ensino e outputs. Assim, Scheerens procurou demonstrar a profunda articulação existente entre aspectos que envolvem a vida escolar, mas sobre os quais as escolas não possuem pleno controle - tais como localização, tamanho, recursos, políticas públicas, características socioeconômicas e culturais da comunidade - com realidades para as quais ela poderia exercer forte influência - como a gestão dos insumos para a realização dos processos educativos (inputs), a organização e o monitoramento das práticas escolares (processos de ensino) e a avaliação dos resultados da formação (outputs).

Em um curto espaço de tempo, a popularização do modelo de Schereens influenciou pesquisas empíricas sobre o desempenho obtido por estudantes e instituições de ensino nas avaliações sistêmicas da educação em diversos contextos nacionais, estruturando uma sólida rede internacional de estudos sobre eficácia escolar. No Brasil, esses estudos se estabeleceram enquanto campo organizado de pesquisa apenas no início do século XXI, quando o SAEB se consolidou como a principal fonte de dados acerca da educação no país e os seus resultados puderam ser amplamente analisados (Soares, 2007). Nesse percurso, a preocupação com a eficácia das escolas passou a designar uma rede de investigações interessadas em estimar o efeito-escola e identificar os fatores que contribuem para medir a qualidade da educação (Ferrão e Couto, 2013).

Ao analisar a produção intelectual dessa rede científica que se formou no Brasil entre os anos de 2000 e 2013, Karino e Laros (2017) observam a predominância de análises empíricas sobre as reflexões teóricas. Nesse mesmo sentido, é possível perceber que os poucos estudos que debatem as formas de análise dos indicadores oferecidos pelo SAEB parecem empreender mais esforços em sistematizar as informações por meio da produção intelectual já estabelecida do que em propor outros modelos ou categorias para avaliar tais dados (e.g., Bonamino et al., 2010; Ferrão e Fernandes, 2003; Franco e Bonamino, 2005; Koslinski e Alves, 2012; Soares, 2007). Essa evidência reforça no plano nacional as sucessivas críticas que se acumulam desde a década de 1980 acerca do descompasso entre pesquisas sobre eficácia escolar e debates teóricos consolidados em outras áreas do campo educacional (Van den Eeden, Hox e Hauer, 1990).

Em que pesem as controvérsias em torno do quanto a área teria conseguido aprender consigo mesma e refletir sobre as perspectivas teóricas que sustentam suas próprias formulações analíticas, atualmente há um repertório volumoso de publicações que sistematizam, comparam e avaliam os resultados dos testes bianuais realizados pelo SAEB (e.g., Andrade e Laros, 2007; Franco et al., 2007; Laros, Marciano e Andrade, 2012; Rodrigues, Rios-Neto e Pinto, 2011). Tais pesquisas, em geral, realizam análises de regressão para compreender a heterogeneidade de fatores que influenciam o desempenho escolar entre e intra grupos escolares (Laros e Marciano, 2008). Além disso, costuma-se adotar o princípio hierárquico para controlar o impacto das desigualdades socioeconômicas sobre o desempenho cognitivo de estudantes (Ferrão e Fernandes, 2003; Fletcher, 1998).

Após quase duas décadas de intensa produção intelectual, é possível identificar alguns campos gerais de interesse em meio aos estudos sobre eficácia escolar. Por um lado, encontram-se investigações que analisam os efeitos gerados pelas escolas sobre a formação na educação básica em pesquisas descritivas (e.g., Stocco e Almeida, 2011) e longitudinais (e.g., Ferrão e Couto, 2013), com foco no valor agregado que os estabelecimentos de ensino estariam transmitindo. Outro campo de interesses concentra-se na compreensão das desigualdades de desempenho e de acesso aos recursos educacionais. Nesse caso, as pesquisas consideram os resultados das avaliações externas por meio de intersecções de gênero (e.g., Soares e Alves, 2003), de cor (e.g., Andrade, Franco e Carvalho, 2003) e de classe (e.g., Soares e Andrade, 2006), demonstrando como a melhoria das condições escolares não coincide necessariamente com a promoção da equidade.

Importa salientar também a formação de um terceiro campo de interesses em torno das políticas e das práticas escolares que poderiam explicar o alto desempenho educacional de certas escolas. Ele é composto, em parte, de estudos qualitativos que se concentram em um número reduzido de unidades de ensino com a intenção de analisar detalhadamente os motivos que lhes possibilitariam apresentar índices superiores à média de outras escolas (e.g., Silva, Bonamino e Ribeiro, 2012; Teixeira, 2009). Assim, tais estudos costumam isolar fatores socioeconômicos relacionados com a família e focar em aspectos intraescolares que estariam influenciando as relações de ensino-aprendizagem e incidindo sobre os desempenhos estudantis. Para isso, são mobilizadas técnicas de pesquisa diversas, tais como: observações dirigidas a respeito de práticas pedagógicas, entrevistas com sujeitos escolares, registros documentais ou fotográficos de aspectos materiais ou relacionais que envolvem a vida nas escolas, bem com a incorporação de dados e variáveis estatísticas para realizar o cotejamento dos estudos de caso com panoramas mais amplos das condições de ensino no país.

De outro lado, esse terceiro campo de estudos sobre práticas e políticas bem-sucedidas na educação também é composto de estudos quantitativos que utilizam principalmente técnicas de regressão para analisar o conjunto de fatores contextuais, organizacionais, de monitoramento e pedagógicos oferecidos e contribuir com a melhoria do desempenho estudantil nos testes e parâmetros oficiais (e.g., Albanez, Ferreira e Franco, 2002; Américo e Lacruz, 2017; Barbosa e Fernandes, 2000; Bonamino et al., 2010; Ferrão et al., 2001; Nascimento, 2007; Soares, 2005). No que se refere às variáveis extraescolares que influenciam o desempenho escolar, sugeridas pelo modelo de Scheerens (1990), esses estudos têm confirmado a correlação positiva entre o nível socioeconômico da escola e a escolarização familiar sobre a performance estudantil nas avaliações externas (e.g., Bonamino et al., 2010). Confirmam também as desigualdades de cor (e.g., Ferrão et al., 2001) e de gênero, embora algumas publicações informem que as alunas apresentam resultados melhores em língua portuguesa (e.g., Soares, 2005) e os alunos em matemática (e.g., Albanez, Ferreira e Franco, 2002) - o que sugere que os processos de racialização e de generificação dos desempenhos escolares também podem ser compreendidos nas desigualdades simbólicas entre áreas ou disciplinas. Tais variáveis, entretanto, costumam ser agregadas à composição de um único fator, denominado “nível socioeconômico”, dificultando análises mais pontuais acerca de seus efeitos particulares na escolarização básica.

As variáveis intraescolares que impactam o efeito escolar, por sua vez, costumam diversificar-se em múltiplas categorias. Todavia, o atraso ou o abandono escolar, usualmente representados pelos fatores distorção idade-série, taxa de aprovação e taxa de abandono, figuram em praticamente todos os estudos da área como variáveis que geram efeitos negativos sobre o desempenho escolar. Outras variáveis tidas como significativas para pensar a eficácia estão relacionadas com a gestão, a infraestrutura e com o bom estado de conservação dos equipamentos escolares (e.g., Albanez, Ferreira e Franco, 2002), habitualmente integradas no fator “complexidade de gestão da escola”. As condições de trabalho docente, seus perfis profissionais, bem como as práticas pedagógicas que adotam em sala de aula, praticamente não figuram entre os trabalhos da área enquanto fatores que exerceriam forte impacto no desempenho escolar, embora pesquisas recentes comecem a confirmar o contrário (e.g., Américo e Lacruz, 2017).

Em diálogo com essa literatura especializada em eficácia escolar, procuramos neste artigo analisar os resultados obtidos por escolas do Espírito Santo na Prova Brasil de 2013, um dos principais instrumentos utilizados pelos SAEB para avaliar a educação básica no país. Para isso, entretanto, utilizamos um método estatístico alternativo aos que são habitualmente empregados pelas pesquisas da área: a análise discriminante. Com ela, não pretendemos negar os resultados de outras investigações, mas estimar quais fatores, entre o conjunto de variáveis que interferem nos desempenhos escolares, podem ser priorizados para classificar as performances escolares e, assim, contribuir para o aprimoramento das próprias análises realizadas. Contudo, antes de apresentar essa metodologia, apresentaremos um panorama histórico da construção e do aperfeiçoamento do SAEB.

A TRAJETÓRIA RECENTE DAS AVALIAÇÕES SISTÊMICAS NO BRASIL

O SAEB, como explicou Pestana (1992), fez parte do processo de reestruturação e de redemocratização do Estado brasileiro, no qual se conferiu maior transparência às ações e aos resultados obtidos pelas instituições públicas. Com esse espírito, ele foi concebido para avaliar sistemas de ensino em dois níveis complementares, tanto no que diz respeito à produtividade e eficiência quanto no que se refere às condições de trabalho e de infraestrutura escolar. No princípio do projeto, a metodologia adotada procurou correlacionar questões relativas à gestão escolar, à competência docente, aos custos e aos rendimentos discentes, bem como sobre a gestão dos sistemas educacionais, apresentando uma base de dados amostrais capaz de oferecer um diagnóstico sobre a qualidade da educação básica do país.

Em 1995, algumas mudanças metodológicas foram elaboradas para ampliar ainda mais essa base de dados e padronizar os resultados obtidos em nível nacional. Tais mudanças, que seguem métricas do Programme for International Student Assessment (PISA) e configuram o desenho do SAEB tal qual o conhecemos na atualidade, estão relacionadas com: a inclusão de escolas particulares na amostra; a presença dos 26 estados e do Distrito Federal; a utilização de questionários sobre as características socioculturais e os hábitos de estudo de estudantes; a priorização dos conteúdos de língua portuguesa e de matemática nos testes realizados; a inclusão do 3º ano do ensino médio (que se somou ao 5º e 9º anos do ensino fundamental); e a adoção à teoria de resposta ao item, que possibilitou produzir uma escala unificada para medir, monitorar e comparar os desempenhos estimados por regiões ou localidades.

Nesse processo, o discurso dominante nas pesquisas quantitativas da década de 1980 a respeito do custo-aluno foi sendo convertido pelo SAEB em noções mais ou menos explícitas de competitividade, desempenho, eficiência e produtividade na ação pedagógica. E o eixo central dessas formas de qualificar a educação básica está relacionado com a definição de testes cognitivos bianuais, que vêm sendo elaborados por especialistas nas áreas de leituras e de resolução de problemas matemáticos por uma síntese dos elementos comuns às diferentes matrizes curriculares brasileiras e dos principais livros didáticos de cada área. Assim, constituiu-se nas últimas décadas um parâmetro oficial daquilo que deveria ser considerado fundamental na aprendizagem ao final de cada ciclo de escolarização.

Do ponto de vista de certos setores da administração pública, no entanto, as análises diagnósticas oferecidas pelo SAEB representavam um problema político e gerencial. Isso porque, mesmo possibilitando o monitoramento panorâmico das redes escolares, o planejamento de políticas públicas e a orientação de tomadas de decisões, os resultados dessa avaliação ainda representavam uma ferramenta com baixo nível de interferência na vida escolar (Zaponi e Valença, 2009), situação que gerou certa percepção de que a implementação de formas de avaliação que particularizassem os resultados da análise poderia ser uma estratégia eficaz na identificação dos atores responsáveis pelo sucesso ou pelo fracasso escolar (Bonamino e Souza, 2012). Desse modo, paralelamente ao desenvolvimento do SAEB, diversos outros sistemas regionais de avaliação foram criados - no caso do estado do Espírito Santo, por exemplo, o Programa de Avaliação da Educação Básica do Espírito Santo (PAEBES) tornou-se um parâmetro regional.

Em meio a esse contexto, mediante a portaria ministerial n. 931, de 21 de março de 2005, o SAEB foi reestruturado, passando a contar também com a aplicação da Prova Brasil. Idealizada para individualizar as informações sobre a qualidade do ensino, esse novo dispositivo foi sendo ajustado até configurar-se, em 2009, como uma avaliação censitária de escolas e de estudantes do ensino fundamental das redes públicas e privadas, urbanas e rurais (com mais de 20 discentes matriculados) por todo o país. Os resultados dessa prova bianual são apresentados nominalmente por escola em conjunto com indicadores sobre o contexto escolar. Nesse caso, os dados têm sido contextualizados com base em dois critérios: “adequação docente” e “nível sócio econômico” - sem, entretanto, explicar em que medida essas variáveis impactam o desempenho escolar. Na Figura 1 é possível observar um exemplo da maneira como tais critérios são publicados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP).

Figura 1 -
Formato da apresentação do desempenho por escola na Prova Brasil.

Apesar de os resultados da Prova Brasil conglomerarem indicadores diversos para caracterizar o que habitualmente se denomina de “contexto escolar”, traduzindo seus dados para facilitar o acesso e a comunicação com públicos extra-acadêmicos, as notas do exame não explicam em que medida seus índices colaboram para estabelecer os resultados alcançados por estudantes. Por isso mesmo, esta pesquisa sugere que estimar quais indicadores educacionais maximizam a discriminação entre os desempenhos bem-sucedidos e malsucedidos pode representar uma possibilidade de aprofundar a análise e contribuir para o reconhecimento dos fatores que estariam causando maior impacto escolar diante de um conjunto de variáveis. Em outras palavras, compreender os fatores contextuais que melhor discriminam o desempenho das escolas oferece novos caminhos para que o debate atual em torno da eficácia e da qualidade na educação básica possa ser aprimorado e consiga efetivamente subsidiar ações e políticas educacionais específicas para cada contexto.

TRILHAS DA INVESTIGAÇÃO

O objetivo da investigação concentrou-se em interpretar as variáveis contextuais que melhor diferenciam o desempenho obtido por estudantes dos anos finais do ensino fundamental das escolas estaduais capixabas na Prova Brasil, por meio de análise discriminante. Apesar de pouco explorada nos estudos sobre eficácia escolar, a análise discriminante não é uma técnica recente. A primeira solução para o problema de discriminação entre populações é atribuída a Fisher, em estudo sobre classificação de novas espécies vegetais (Fisher, 1936). Essa técnica também foi empregada no campo da educação por estudos como o de Ferreira e Hill (2007), que recorre à análise discriminante para verificar padrões culturais que “melhor” diferenciam instituições de ensino superior.

Com base nos resultados alcançados nesta pesquisa, conseguimos identificar não apenas quais critérios estão sendo mobilizados por esse sistema de avaliação externa para mensurar aquilo que se denomina de qualidade na educação básica brasileira, mas perceber quais dessas variáveis efetivamente impactam as notas, discriminando com mais precisão os critérios que estão definindo e hierarquizando os diferentes desempenhos escolares.

A população investigada nesta pesquisa reúne 497 escolas estaduais, urbanas e rurais, distribuídas nos 78 municípios capixabas. A coleta de dados foi realizada no site do INEP, entre setembro e dezembro de 2015, com dados referentes ao ano de 2013. Ressaltamos que a consulta pública às notas da Prova Brasil é limitada às escolas que atenderam aos próprios critérios estabelecidos pelo instituto, com o número mínimo de 20 estudantes matriculados nos anos avaliados, e cada consulta precisou ser feita manualmente por meio do código da unidade escolar avaliada. Assim, para estimar prováveis fatores que impactaram as notas, foram utilizados os mesmos indicadores criados pelo INEP para apresentar o contexto no qual cada um desses estabelecimentos de ensino desenvolveu seu trabalho educativo.

A Tabela 1 informa as definições operacionais das variáveis.

Tabela 1 -
Descrição das variáveis do modelo.

Tipo	Descrição	Código	Escala
Dependente	Desempenho na Prova Brasil de 2013	DPB	Nominal
Independentes	Discentes por turma	APT	Rácio
	Horas-aula diária	HAD	Rácio
	Taxa de distorção idade-série	DIS	Rácio
	Taxa de aprovação	TAP	Rácio
	Taxa de abandono	TAB	Rácio
	Indicador de regularidade do corpo docente	IRD	Intervalar (0 a 5)
	Indicador de esforço docente	IED	Intervalar (1 a 5)
	Indicador de complexidade de gestão da escola	ICG	Intervalar (1 a 6)
	Nível socioeconômico dos discentes	NSE	Rácio
	Adequação de formação docente	AFD	Intervalar (1 a 5)

• Fonte: Banco de dados da pesquisa. Elaboração dos autores.

Os dados coletados no site do INEP revelaram que somente 244 (49%) escolas (localizadas em 70 dos 78 municípios) apresentaram dados para todas as variáveis consideradas neste estudo (Tabela 1). Nesse caso, optamos por formar uma amostra com base nesse critério, em vez recorrer a técnicas de tratamento de valores ausentes, já que o tamanho da amostra é suficientemente grande diante da técnica estatística empregada. Desse modo, as escolas foram categorizadas por seus desempenhos diferenciados, tendo como critério de corte os quartis inferior e superior, da seguinte forma: piores desempenhos (nota ≤ Q₁) e melhores desempenhos (nota ≥ Q₃). Assim, a eficácia é relativa aos resultados obtidos por esse grupo de escolas estudadas. Acrescentamos ainda que foi verificado pelo teste ANOVA se a classificação das escolas capixabas por seus “melhores” e “piores” desempenhos na Prova Brasil poderia ser presumida estatisticamente diferente.

Nesse sentido, foi criada a variável categórica desempenho na Prova Brasil, assumida como variável dependente no estudo. Ambos os grupos foram formados por 62 escolas, totalizando uma amostra total de 124 observações. Para validar a análise discriminante, a amostra foi dividida em duas subamostras: uma para estimar a função discriminante (amostra de estimação = 74 observações); e outra para fins de validação (amostra de teste = 50 observações). De acordo com critério sugerido por Hair et al. (2009), tanto o tamanho geral da amostra (mínimo de 5 observações por variável independente consideradas na análise, ainda que não entrem na função discriminante) quanto o tamanho da amostra por grupo (mínimo de 20 observações por grupo) atendem ao mínimo considerado adequado em relação às duas subamostras, formadas por disposição aleatória.

Para investigar as variáveis contextuais que melhor discriminam os grupos de escolas descritos pelas categorias “melhores” e “piores” desempenhos na Prova Brasil de 2013, foi utilizada a técnica análise discriminante. Por meio desse modo de análise é possível identificar as variáveis mais relevantes para explicar as diferenças entre grupos que sejam heterogêneos em um contexto, mas homogêneos entre si. Conforme Hair et al. (2009), trata-se da obtenção de uma função que é a combinação linear de duas ou mais variáveis independentes que ampliam a discriminação dos grupos definidos a priori pelas categorias da variável dependente (Equação 1).

$Z_{jk}=\alpha +W_1{X}_{1k}+W_2{X}_{2k}+,\dots ,W_n{X}_{nk}$ (1)

Em que:

• Z_jk =  escore Z discriminante da função discriminante j para o objeto k
• α =  intercepto
• W_i =  peso discriminante para a variável independente i
• X_ik =  variável independente i para o objeto k
• i =  i-ésima observação, sendo n o tamanho da população

Acrescentamos que para a determinação da função discriminante foi utilizado o método stepwise, uma vez que a pretensão era identificar as variáveis com maior poder de discriminação e parcimônia na função discriminante. O critério para avaliar a significância estatística do modelo geral foi definido com base na medida D² de Mahalanobis, como sugerido por Hair et al. (2009) para procedimentos de estimação stepwise.

Ressaltamos, por fim, que foi efetuada a verificação dos pressupostos assumidos pela análise discriminante quanto à normalidade multivariada das variáveis explicativas (teste de Mardia), linearidade da relação entre a variável dependente e às independentes (gráfico de resíduos), ausência de multicolinearidade entre as variáveis independentes (tolerância), homogeneidade das matrizes de variância e covariância (Box’s M) e inexistência de outliers (distância de Cook). No processamento dos dados utilizamos o software SPSS 20.

CONTEXTOS E DESEMPENHOS ESCOLARES NA PROVA BRASIL

Antes de iniciar os procedimentos de extração de medidas para realizar a análise discriminante, foi verificado pelo teste ANOVA que a hipótese de igualdade de desempenho na Prova Brasil entre os grupos de escolas pode ser rejeitada (p-value < 0,05). Tal constatação deu subsídios para estabelecer a análise discriminante diferenciando os grupos de escolas com os melhores e piores resultados obtidos na avaliação de 2013. Foi possível também verificar a diferença entre médias pelo teste ANOVA porque as hipóteses de normalidade dos dados, pelo teste de Kolmogorov Smirnov (p-value ≥ 0,05), e de homogeneidade de variâncias, pelo teste de Levene (p-value ≥ 0,05), não foram rejeitadas.

As notas das escolas com piores desempenhos variaram (em um intervalo de 0 a 10 -Tabela 1) de 3,39 a 4,51, com média 4,15 e coeficiente de variação de 7% em torno da média. As notas das escolas com melhores desempenhos, por sua vez, variaram de 5,34 a 6,66, com média 5,70 e coeficiente de variação de 5% em torno da média. Portanto, no que se refere ao desempenho médio de estudantes dos anos finais do ensino fundamental das escolas estaduais capixabas na Prova Brasil de 2013, o percentual de alunos com aprendizado considerado adequado pelo INEP foi superior à mediana dos demais estados brasileiros. Assim, o conjunto das escolas desse estado apresentou o quarto melhor desempenho em matemática e o oitavo em português, entre os 26 estados e o Distrito Federal.¹ A Figura 2 resume esse desempenho diante de outros estados do país em um boxplot que destaca o Espírito Santo.

Figura 2 -
Proporção de discentes com aprendizado adequado na Prova Brasil.

Desse modo, percebemos que o Espírito Santo oferece uma perspectiva interessante para interpretar os sistemas de educação estadual do país. Por um lado, a delimitação geográfica desse estado, com tão somente 497 escolas estaduais, contribui para a construção de uma amostra controlável e representativa de um contexto regional. Por outro, a sua relativa adequação aos critérios estabelecidos pelo Ministério da Educação (MEC) para avaliar o rendimento escolar torna pertinente a análise do impacto diferenciado das variáveis nacionais utilizadas pelo INEP na avaliação escolar.

Para evitar problemas na estimação da função discriminante, como erro na fixação do ponto de corte ou distorção do efeito dos coeficientes, realizamos a validação dos pressupostos assumidos pela análise discriminante quanto à normalidade multivariada das variáveis explicativas (teste de Mardia; p-value ≥ 0,05), linearidade da relação entre a variável dependente e às independentes (gráfico de resíduos padronizados x valores previstos padronizados), homogeneidade das matrizes de variância e covariância (Box’s M; p-value ≥ 0,05) e inexistência de outliers (distância de Cook < 1). O pressuposto de ausência de multicolinearidade entre as variáveis independentes foi verificado após a seleção das variáveis independentes no modelo discriminante, como se mostrará adiante.

Ao examinar as significâncias estatísticas (p-value < 0,05) entre médias das variáveis independentes para os dois grupos, identificamos quatro variáveis como conjunto mais lógico de candidatas a entrarem na análise discriminante:

1. distorção idade-série;

2. índice de regularidade docente;

3. taxa de abandono;

4. taxa de aprovação.

Essa considerável redução (de 10 para 4 variáveis) reforçou a decisão de usar o procedimento de estimação stepwise.

Como sugere o exame dos lambdas de Wilk (que variam de 0 a 1), as escolas com piores e melhores desempenhos não têm, em média, diferenças estatisticamente significantes em relação às demais variáveis, com destaque para o número de horas-aula que recebem e nível socioeconômico dos alunos (Λ > 0,99), o que quer dizer que fatores tradicionalmente enfatizados pelas pesquisas da área não foram decisivos para tornar as escolas capixabas melhores ou piores em 2013. Evidentemente, isso não significa que esses fatores tenham deixado de influenciar as notas da Prova Brasil. Pelo contrário, do ponto de vista dos critérios utilizados pelo SAEB, todas essas variáveis impactaram os resultados obtidos. O que a análise realizada evidenciou, no entanto, é o fato de que variáveis como o nível socioeconômico dos alunos, o número de horas-aula que recebem, a quantidade de pessoas em cada sala, a formação docente, a variedade de turmas, turnos ou escolas que professores atendem, que é o indicador de esforço docente, e a complexidade da gestão escolar não diferenciaram o desempenho dos grupos das melhores ou das piores escolas. Nesse caso, as variáveis que se demonstraram prioritárias na definição oficial da qualidade da educação do Espírito Santo dizem respeito a quatro fatores principais: taxa de aprovação; de abandono; de distorção idade-série; e o índice de regularidade docente.

Quando aplicamos o método stepwise (Tabela 2), todavia, os resultados demostram que três desses quatro fatores independentes efetivamente influenciaram a discriminação da variável dependente desempenho na Prova Brasil.

Tabela 2 -
Análise discriminante: método stepwise.

Etapa	Variáveis inseridasa	D2 mínimo
		Estatística	F exato
			Estatística	df1	df2	Sig.
1	IRD	1,315	24,335	1	72	5,039E-006
2	TAB	2,180	19,885	2	71	1,389E-007
3	DIS	2,621	15,713	3	70	6,518E-008

• Nota: Significância máxima de F a ser inserida é 0,05, e a ser removida é 0,10. ^a IRD (índice de regularidade docente); TAB (taxa de abandono); DIS (distorção idade-série). Fonte: Banco de dados da pesquisa. Elaboração dos autores.

A suposição da análise discriminante de ausência de multicolinearidade entre as variáveis independentes pode agora ser verificada. A multicolinearidade denota que uma variável independente deve ser altamente explicada por outra(s) variável(eis), acrescentando pouco poder explicativo ao conjunto de variáveis do modelo. A análise do impacto da colinearidade, medida em termos de tolerância, cujo valor se refere à proporção da variação nas variáveis independentes não explicada pelas variáveis que já estão no modelo, denota ausência de multicolinearidade (tolerância ≥ 0,19), de acordo com critério sugerido por Hair et al. (2009) para amostras pequenas. Analisando as correlações de estrutura (correlação linear simples entre as variáveis independentes e a função discriminante), vê-se que nenhuma das variáveis ignorada pelo procedimento stepwise (que evita que variáveis sem significância estatística entrem na função) se mostrou com efeito substancial (± 0,4 ou mais), pelo critério sugerido por Hair et al. (2009), o que reforça a função discriminante proposta.

Desse modo, a variável taxa de aprovação, apesar de ter sido considerada candidata a entrar na análise descritiva pelo exame das significâncias estatísticas entre médias das variáveis independentes para os dois grupos, tem carga discriminante (-0,242) fora do intervalo para ser considerada substantiva discriminadora. e por isso não compôs o modelo discriminante. Além disso, a correlação canônica (r_c = 0,634), que mostra o nível de associação entre os escores discriminantes e os grupos, indica que a função explica 40,2% da discriminação entre os grupos (r² _c = 0,402). Portanto, a partir da análise realizada até essa etapa da pesquisa, foi possível perceber que as variáveis distorção idade-série, índice de regularidade docente e taxa de abandono escolar, em conjunto, explicam 40,2% da discriminação das escolas capixabas com piores e melhores desempenhos na Prova Brasil de 2013. Todavia, cada uma dessas variáveis aponta para uma dimensão diferente do ensino.

De um ponto de vista formal, a análise da significância estatística da função discriminante (Wilk’s Lambda) mostra que há evidências para se rejeitar a hipótese nula de igualdade da média populacional dos dois grupos (p-value < 0,05). Ou seja, a função discriminante revela-se estatisticamente significante. Esses resultados indicam que a função discriminante possui alto grau de significância estatística, mas que o poder de ajuste aos dados é apenas moderado (r_c = 0,634). Contudo, na aplicação em casos práticos de análise discriminante em ciências sociais é comum encontrar valores semelhantes - um exemplo disso pode ser localizado no estudo de Bervian e Corrêa (2015) que analisou a relação entre os conceitos obtidos no Exame Nacional de Desempenho dos Estudantes (ENADE) de 2012 para o curso de administração, a organização acadêmica da instituição participante e o número de estudantes inscritos por cada uma delas, tomando por amostra 53 instituições de ensino superior no estado de Santa Catarina (r_c = 0,202). Ademais, considerando que existem outras variáveis não previstas no modelo que poderiam interferir nos resultados, advogamos que as funções discriminantes obtidas são importantes elementos para o entendimento da questão de pesquisa levantada e contribuirão para futuros estudos.

Além disso, os pesos discriminantes das variáveis da função discriminante (distorção idade-série; índice de regularidade docente; taxa de abandono escolar) têm impacto substancial no modelo, pois a função discriminante possui alto grau de significância estatística, como mostra a Tabela 3, que apresenta os coeficientes não padronizados e padronizados (pesos discriminantes) da função discriminante canônica das variáveis selecionadas para compor a função discriminante.

Tabela 3 -
Coeficientes discriminantes.

Variáveisa	Coeficientes não padronizados	Coeficientes padronizados
(constante)	1,916
DIS	0,051	0,401
IRD	-1,488	-0,687
TAB	0,159	0,453

• ^aDIS (distorção idade-série); IRD (índice de regularidade docente); TAB (taxa de abandono). Fonte: Banco de dados da pesquisa. Elaboração dos autores.

Os pesos discriminantes representam uma forma de avaliar a importância relativa das variáveis individuais para a função discriminante. Acrescentamos aqui que o perfil médio relativo aos dois grupos de escolas (como piores e melhores desempenhos na Prova Brasil) auxilia na interpretação dos sinais (positivo e negativo) nos coeficientes discriminantes padronizados, não padronizados e nas cargas discriminantes (matriz de estrutura). Os sinais positivos, neste estudo, são associados com variáveis que têm escores maiores para o grupo de escolas com piores desempenhos; e os negativos, com as variáveis com padrão oposto (valores maiores no grupo de escolas com melhores desempenhos). Assim, os sinais devem ser interpretados como indicação de padrão entre os grupos. Nesse encadeamento dos coeficientes não padronizados, pode-se escrever a função discriminante conforme a Equação 2.

$Z=\mathrm{1,916}+\mathrm{0,051}.DIS+(-\mathrm{1,488}.IRD)+\mathrm{0,159}.TAB$ (2)

Em que:

• Z:  escore Z discriminante da função discriminante
• DIS:  distorção idade-série;
• IRD:  índice de regularidade docente;
• TAB:  taxa de abandono escolar.

Desse modo, a investigação revelou que, diante das diversas variáveis contextuais apresentadas para caracterizar as instituições de ensino do país, é possível determinar quais delas discriminaram de maneira mais adequada os desempenhos escolares dos alunos na Prova Brasil. Conforme demonstrado, as escolas capixabas com maior distorção idade-série, menor regularidade docente e maior taxa de abandono obtiveram os piores desempenhos na Prova Brasil de 2013. Em outros termos, do ponto de vista estatístico, foram essas as variáveis que maximizaram as diferenças entre as escolas com mais ou com menos qualidade na amostra considerada.

A taxa de abandono possui uma estreita ligação com a distorção idade-série, já que estudantes que abandonam a escola podem voltar a estudar, impactando essa variável. Há no Brasil uma literatura estabelecida sobre questões relativas ao fluxo escolar e, em específico, sobre os efeitos de programas contra o abandono escolar e a distorção idade-série (e.g., Fletcher e Castro, 1993; Fletcher e Ribeiro, 1988; Teixeira de Freitas, 1947). Há autores, como Ferrão, Beltrão e Santos (2002), que sugerem que a defasagem idade-série tem o potencial de influenciar negativamente a aprendizagem dos estudantes. A distorção idade-série, para Ferrão, Beltrão e Santos (2002) e para Klein e Ribeiro (1995), pode ser controlada mediante políticas de não repetência, sem prejudicar o desempenho educacional. Para Menezes-Filho (2007), programas contra a repetência podem melhorar o desempenho, mas programas sociais contra o abandono podem gerar um efeito inverso.

A despeito da solução para combater a evasão escolar, é importante notar que a taxa de abandono, que apresenta como consequência imediata o atraso escolar, tem o potencial de prejudicar o desempenho de estudantes da rede estadual de ensino do Espírito Santo. Por isso, mesmo reconhecendo a presença de vozes dissonantes na literatura, o presente estudo considera que o controle da taxa de abandono e da distorção idade-série pode melhorar o desempenho dos estudantes capixabas na avaliação nacional aplicada em larga escala chamada Prova Brasil.

Entretanto, entre as três variáveis contextuais, maior efeito pode ser atribuído ao índice de regularidade docente, como demonstrado na função discriminante. Tal índice refere-se aos vínculos que os professores possuem com as escolas. E o resultado da análise indica que quanto mais próximos forem esses vínculos, melhores serão as chances de sucesso dos estudantes no exame. Mas como podemos interpretar essas relações? Estamos falando de laços meramente profissionais ou de algum tipo de enraizamento com o contexto social?

Em vez de responder de forma precipitada a essas questões, talvez seja interessante observar como o efeito docente, tão debatido pela teoria educacional moderna, nem sempre se relaciona com aquilo que se convencionou chamar de indicadores de esforço (e.g., Hanushek e Raymond, 2005; Hanushek e Rivkin, 2006). Pelo contrário, em contextos como o que encontramos atualmente na educação básica do Espírito Santo, a apatia (e.g., Soares, 2005), o desinteresse (e.g., Santos, 2002), a perda de autoridade (e.g., Paiva, Junqueira e Muls, 1997), a má formação inicial (e.g., Albarnez, Ferreira e Franco, 2002), todos esses atributos que configuram uma atuação docente indesejável têm impactado menos o desempenho escolar do que o tipo de vínculo que tais profissionais mantêm com as escolas onde trabalham. Afinal, como já observaram Biondi e Felício (2007) ao refletirem sobre o desempenho de estudantes da educação básica nos exames de matemática, a ausência de rotatividade, as condições de trabalho e a experiência com o contexto de ensino parecem ser elementos que afetam positivamente a aprendizagem.

Em adição, como forma de sustentar a função discriminante que suporta esta análise, analisamos os resultados de classificação obtidos pela função de classificação (função discriminante linear de Fisher). Verificamos que após a aplicação da análise discriminante, em média, 82,4% das escolas foram corretamente classificadas na amostra de estimação e 72% na amostra de teste. Como a probabilidade por chances (sem a função discriminante) é de 50%, uma vez que os grupos têm o mesmo tamanho, a precisão preditiva é de 32,4% e 22% superior ao critério de chances, respectivamente. Valores estes superiores ao sugerido por Hair et al. (2009), que recomendam precisão de classificação superior a um quarto do critério por chances (nesse caso maior que 62,5%). Apesar de o percentual de elementos corretamente classificados após a aplicação da análise discriminante possa parecer baixo (82,4% e 72%), em sua aplicação em casos práticos em ciências sociais é comum encontrar valores dessa ordem.

Além disso, acentuamos que o percentual de acerto na amostra de teste, com escolas que não compuseram a base de dados para estimação da função discriminante, revela que o modelo tem capacidade para realizar, em um bom nível, a classificação de escolas externa a base de dados de sua composição. Registramos também que o percentual de elementos do grupo de escolas com pior desempenho corretamente classificados após a aplicação da análise discriminante é de 86,5% para amostra de estimação e 84% para amostra de teste, enquanto o percentual de acerto para o grupo de escolas com melhor desempenho é de 78,4% e 60%, revelando que a função é melhor discriminadora de escolas com piores desempenhos.

A fim de verificar se o percentual de classificação é satisfatório, calculou-se a estatística Press’s Q para constatar o poder discriminatório da matriz de classificação quando comparada a um modelo aleatório. Os resultados (estimação = 31,14 e teste = 9,68) excedem o valor crítico de 6,63 (ao nível de significância de 0,01), do que se pode assumir que as discriminações das escolas nos grupos foram significativamente melhores que uma distribuição aleatória tanto para a amostra de estimação quanto para a de teste. Em outras palavras, excedem em um nível estatisticamente significante a precisão esperada de classificação por chance.

Do ponto de vista dos estudos sobre eficácia escolar, as evidências empíricas obtidas durante a investigação sugerem que a análise discriminante pode ser particularmente reveladora para a compreensão dos resultados da Prova Brasil. Enquanto outras práticas de processamento de dados habitualmente utilizadas pela área assumem as escolas como iguais e apontam para valores globais médios, a análise discriminante possibilita considerar estatisticamente os distintos perfis escolares com base em contextos particulares em que os desempenhos mais ou menos eficazes estão inseridos. Assim, deste estudo resultou uma função parcimoniosa que permite estimar com razoável precisão preditiva quais fatores deveriam ser priorizados, em contextos específicos, para efetivamente modificar as performances escolares em avaliações aplicadas em larga escala.

Em um estudo recente que também analisou a relação entre contexto e desempenho escolar no Espírito Santo, Américo e Lacruz (2017) empregaram a técnica de regressão linear múltipla sobre uma base amostral similar à que foi utilizada neste estudo. Os autores observaram que, além da taxa de abandono e do índice de regularidade docente, o indicador de esforço docente seria outro fator que afetaria de modo diferente os desempenhos das escolas capixabas na Prova Brasil. Tal análise os levou a enfatizar a importância do “efeito docente” para reduzir os impactos negativos que fatores socioeconômicos desfavoráveis geram sobre a qualidade da educação do estado. Com o uso da análise discriminante, no entanto, verificamos que a distorção idade-série é outro fator significativo para entender as diferenças de desempenho das escolas daquele estado, pois esse fator, ainda que não seja representativo nas análises globais, está incidindo como substantiva discriminadora nos desempenhos das escolas com melhores e piores resultados.

Tal constatação nos parece crucial, tanto para a pesquisa educacional quanto para a gestão pública da educação, porque a construção de políticas educacionais também parece carecer de instrumentos analíticos que possibilitem tratar de forma diferente escolas com desempenhos diferentes. No Espírito Santo, o desenvolvimento de ações visando à redução da evasão escolar, a fim de que as escolas com resultados insuficientes alcançassem os desempenhos almejados, poderia ter sido a decisão estratégica a ser tomada considerando os resultados obtidos pelos exames de 2013. Porém, o que se assistiu foi ao fechamento sistemático de escolas sob o argumento da Secretaria de Educação de que “[...] havendo menos estudantes, deveria haver menos turmas e escolas” (Américo e Lacruz, 2017, p. 871) para otimizar a eficiência escolar.

CONSIDERAÇÕES FINAIS

Diante do recente contexto gerencial e informacional que se consolidou no Brasil, no qual a educação vem sendo sistematicamente pensada mediante políticas de accountability, ampliar o debate sobre os significados das desigualdades de desempenho escolar em avaliações em larga escala parece ser uma questão cada vez mais crucial para qualquer projeto educacional do futuro. Afinal, estamos diante de uma arena de disputas que tem o poder de definir o que é desejável ou não para a escolarização contemporânea.

Ao longo destas páginas procuramos aplicar um método estatístico pouco explorado no campo educacional brasileiro: a análise discriminante. A intenção não foi a de essencializar as métricas oficiais adotadas na Prova Brasil, nem mesmo desconsiderar as contribuições teóricas já elaboradas por outros estudos sobre eficácia educacional, mas apresentar um modelo estatístico alternativo para que a análise dos indicadores de qualidade educacional vigentes possa considerar de modo mais justo e preciso a heterogeneidade de contextos e de desempenhos escolares. Trata-se, como procuramos argumentar, de um caminho possível para interpretar de modo diferente escolas que apresentem contextos e desempenhos diferentes. Assim, entendemos que tanto as práticas de representação da qualidade na educação básica quanto os critérios de intervenção sobre a vida escolar poderiam ser alteradas para responder às necessidades efetivas de cada realidade educacional.

Por meio da investigação dos desempenhos que as escolas do Espírito Santo obtiveram na Prova Brasil em 2013, constatamos que a análise discriminante permite localizar variáveis que melhor distinguem escolas com desempenhos diferenciados e desenvolver funções discriminantes que representem tais diferenças com base nos próprios critérios de eficácia utilizados pelo INEP. Nesse sentido, ao aplicar a função discriminante, pesquisadores, gestores e formuladores de políticas educacionais seriam capazes de planejar e reorganizar suas ações e seus investimentos com base em variáveis contextuais prioritárias, com ampla capacidade de intervir sobre o desempenho estudantil. Isso porque os resultados dessa nova forma de classificação reduzem e delimitam os indicadores de qualidade em índices controláveis, contribuindo para conferir relevância analítica, gerencial e política ao método aqui delineado.

Portanto, ao adotarmos a análise discriminante enquanto uma ferramenta analítica alternativa para os estudos da área de eficácia escolar em curso no Brasil, percebemos nela um instrumento capaz de oferecer perspectivas complexas acerca de realidades plurais, heterogêneas e em constante transformação. Por meio dessa ferramenta metodológica, talvez outras investigações consigam traçar os perfis (descrição), as diferenciações (inferência) ou as classificações (predição) de escolas ou redes de ensino, identificando razões que contribuam para um entendimento amplo e rigoroso do papel e do potencial das diferentes instituições de ensino básico perante as profundas desigualdades educacionais em nosso país.

Utilizando a análise discriminante, estudos sobre eficácia escolar seriam capazes de descrever como os grupos de escolas diferem em relação às variáveis subjacentes. Um esforço investigativo nessa direção poderia ser o de descrever os perfis dos diferentes segmentos de notas das escolas para entender o modo pelo qual gestores de escolas com melhores desempenhos diferem do conjunto de gestores de escolas dos outros estratos de desempenho em relação à liderança escolar. Outros estudos também poderiam indagar se as diferenças aparentes entre os grupos escolares são realmente significativas ao avaliar se escolas reconhecidas como organizações inovadoras têm desempenho estatisticamente diferente de outras instituições educacionais que não recebem esse rótulo. Em qualquer um desses casos, a análise discriminante forneceria um teste de hipótese de que todas as médias do grupo são idênticas.

Além do perfil e da diferenciação, os estudos poderiam igualmente fazer uso da análise discriminante para predizer a pertinência ao grupo; ou seja, usar a função discriminante para categorizar as escolas (observações) quando o valor da variável dependente (nota na Prova Brasil) não é observado. Desse modo, seria possível prever escolas mais predispostas ao desempenho inferior e, nesse caso, a pontuação da função discriminante da escola poderia ser utilizada como medida de merecimento, como um budget scoring a ser aplicado no processo de alocação de recursos em circunstâncias de restrição orçamentária. Assim, o uso da análise discriminante poderia complementar os resultados obtidos por meio de outras técnicas, contribuindo para o aprimoramento das análises realizadas.

REFERÊNCIAS

• Akkari, A. Internacionalização das políticas educacionais Petrópolis: Vozes, 2011.
• Albanez, A.; Ferreira, F.; Franco, F. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, Rio de Janeiro: IPEA, v. 32, n. 3, p. 453-475, dez. 2002.
• Alves, M. T. G.; Soares, J. F. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, São Paulo: USP, v. 39, n. 1, p. 177-194, jan./mar. 2013. http://dx.doi.org/10.1590/S1517-97022013000100012
  » http://dx.doi.org/10.1590/S1517-97022013000100012
• Américo, B. L.; Lacruz, A. J. Contexto e desempenho escolar: análise das notas na Prova Brasil das escolas capixabas por meio de regressão linear múltipla. Revista de Administração Pública, Rio de Janeiro: FGV, v. 51, n. 5, p. 854-878, out. 2017. http://dx.doi.org/10.1590/0034-7612160483
  » http://dx.doi.org/10.1590/0034-7612160483
• Andrade, M.; Franco, C.; Carvalho, J. P. de. Gênero e desempenho em matemática ao final do ensino médio: quais as relações? Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas, v. 14, n. 27, p. 77-96, jan./jun. 2003.
• Andrade, J. M.; Laros, J. A. Fatores associados ao desempenho escolar: um estudo multinível com os dados do SAEB/2001. Psicologia: Teoria e Pesquisa, Brasília: UnB, v. 23, n. 1, p. 33-42, jan./mar. 2007. http://dx.doi.org/10.1590/S0102-37722007000100005
  » http://dx.doi.org/10.1590/S0102-37722007000100005
• Barbosa, M. E.; Fernandes, C. Modelo multinível: uma aplicação a dados de avaliação educacional. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas , v. 9, n. 22, p. 135-153, jul./dez. 2000. http://dx.doi.org/10.18222/eae02220002220
  » http://dx.doi.org/10.18222/eae02220002220
• Beech, J. A internacionalização das políticas educativas na América Latina. Currículo Sem Fronteiras, [s.l.:s.n.], v. 9, n. 2, p. 32-50, jul./dez. 2009.
• Bervian, L. M.; Corrêa, M. ENADE: impactos da categoria administrativa, organização acadêmica e número de participantes no desempenho dos estudantes. Revista de Administração Educacional, Recife: UFPE, v. 3, n. 2, p. 6-27, ago. 2015.
• Biondi, R. L.; Felício, F. Atributos escolares e o desempenho dos estudantes: uma análise em painel dos dados do SAEB. Brasília, DF: INEP, 2007.
• Bonamino, A. et al Os efeitos das diferentes formas de capital no desempenho escolar: um estudo à luz de Bourdieu e de Coleman. Revista Brasileira de Educação, Rio de Janeiro, ANPEd, v. 15, n. 45, p. 487-594, dez. 2010. http://dx.doi.org/10.1590/S1413-24782010000300007
  » http://dx.doi.org/10.1590/S1413-24782010000300007
• Bonamino, A.; Souza, S. Z. Três gerações de avaliação da educação básica no Brasil. Educação e Pesquisa, São Paulo: USP , v. 38, n. 2, p. 373-388, jun. 2012. http://dx.doi.org/10.1590/S1517-97022012005000006
  » http://dx.doi.org/10.1590/S1517-97022012005000006
• Brasil. Portaria ministerial n. 931, de 21 de março de 2005. Institui o Sistema de Avaliação da Educação Básica - SAEB, que será composto por dois processos de avaliação: a Avaliação Nacional da Educação Básica - ANEB, e a Avaliação Nacional do Rendimento Escolar - ANRESC. Diário Oficial da União, Brasília, 22 mar. 2005. Seção 1. p. 16-17.
• Carvallo-Pontón, M. Eficacia escolar: antecedentes, hallazgos y futuro. Revista Internacional de Investigación en Educación, Jalisco: Pontificia Universidad Javeriana, v. 3, n. 5, p. 199-214, set. 2010.
• Coelho, M. I. M. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro: CESGRANRIO, v. 16, n. 59, p. 229-258, jun. 2008. http://dx.doi.org/10.1590/S0104-40362008000200005
  » http://dx.doi.org/10.1590/S0104-40362008000200005
• Coleman, J. S. et al Equality of education opportunity Washington, DC: US Department of Health, Education & Welfare, 1966.
• Edmonds, R. Effective schools for the urban poor. Educational Leadership, Alexandria: ASCD, v. 37, n. 1, p. 15-27, out. 1979.
• Eisenbeis, R. A.; Avery, R. B. Discriminant analysis and classification procedures Lexington: Health, 1972.
• Ferreira, A. I.; Hill, M. M. Diferenças de cultura entre instituições de ensino superior público e privado: um estudo de caso. Psicologia, Lisboa: APP, v. 21, n. 1, p. 7-26, jan./jun. 2007.
• Ferrão, M. E.; Couto, A. Indicador de valor acrescentado e tópicos sobre a consistência e estabilidade: uma aplicação ao Brasil. Ensaio: Avaliação de Políticas Públicas Educacionais, Rio de Janeiro: CESGRANRIO , v. 21, n. 78, p. 131-164, mar. 2013. http://dx.doi.org/10.1590/S0104-40362013000100008
  » http://dx.doi.org/10.1590/S0104-40362013000100008
• Ferrão, M. E.; Fernandes, C. O. O efeito-escola e a mudança: dá para mudar? Evidências da investigação brasileira. REICE, Madrid, v. 1, n. 1, p. 1-13, jan./jun. 2003.
• Ferrão, M. E. et al O SAEB - Sistema Nacional de Avaliação da Educação Básica: objetivos, características e contribuições na investigação da escola eficaz. Revista Brasileira de Estudos de População, Belo Horizonte: ABEP, v. 18, n. 1/2, p. 111-130, jul./dez. 2001.
• Ferrão, M. E.; Beltrão, K. I.; Santos, D. P. Políticas de não repetência e a qualidade da educação: evidências obtidas a partir da modelagem dos dados da 4ª série do SAEB-99. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas , v. 13, n. 26, p. 47-74, jul./dez. 2002. 10.18222/eae02620022185
  » https://doi.org/10.18222/eae02620022185
• Fisher, R. A. The use of multiple measurements in taxonomic problem. Annals of Eugenics, United Kingdom: [s.n.], v. 7, p. 179-188, 1936. https://doi.org/10.1111/j.1469-1809.1936.tb02137.x
  » https://doi.org/10.1111/j.1469-1809.1936.tb02137.x
• Fletcher, P. R. À procura do ensino eficaz Brasília, DF: PNUD; MEC; DAEB, 1998.
• Fletcher, P. R.; Castro, C. M. Mitos, estratégias e prioridades para o ensino de 1º grau. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas , v. 4, n. 8, p. 39-56, jul./dez. 1993. 10.18222/eae00819932340
  » https://doi.org/10.18222/eae00819932340
• Fletcher, P. R.; Ribeiro, S. C. A educação na estatística nacional. In: Sawyer, O. D. (Org.). PNADs em foco: anos 80. São Paulo: ABEP, 1988.
• Franco, C.; Bonamino, A. A pesquisa sobre característica de escolas eficazes no Brasil: breve revisão dos principais achados e alguns problemas em aberto. Educação on-line, Rio de Janeiro: PUC, v. 1, p. 1-13, 2005.
• Franco, C. et al Qualidade e equidade em educação: reconsiderando o significado de “fatores intraescolares”. Ensaio: Avaliação de Políticas Públicas Educacionais, Rio de Janeiro: CESGRANRIO , v. 15, n. 55, p. 277-298, abr./jun. 2007. http://dx.doi.org/10.1590/S0104-40362007000200007
  » http://dx.doi.org/10.1590/S0104-40362007000200007
• Hair, J. F. et al Análise multivariada de dados Porto Alegre: Bookman, 2009.
• Hanushek, E. A.; Raymond, M. E. Does school accountability lead to improved student performance? Journal of Policy Analysis and Management, United States: John Wiley & Sons, v. 24, n. 2, p. 297-327, mar. 2005. https://doi.org/10.1002/pam.20091
  » https://doi.org/10.1002/pam.20091
• Hanushek, E. A.; Rivkin, S. G. Teacher quality. In: Hanushek, E. A.; Welch, F. Handbook of the economics of education Amsterdam: Elsevier, 2006.
• INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Desempenho por escola na Prova Brasil 2013 - código da escola 32045379. Brasília, DF: 2015. Disponível em: <Disponível em: http://sistemasprovabrasil.inep.gov.br/provaBrasilResultados/view/boletimDesempenho/boletimDesempenho.seam?cid=1293# >. Acesso em: 9 jan. 2018.
  » http://sistemasprovabrasil.inep.gov.br/provaBrasilResultados/view/boletimDesempenho/boletimDesempenho.seam?cid=1293#
• Karino, C. A.; Laros, J. A. Estudos brasileiros sobre eficácia escolar: uma revisão de literatura. Revista Examen, Brasília: CEBRASPE, v. 1, n. 1, p. 95-126, jul./dez. 2017.
• Klein, R.; Ribeiro, S. C. A pedagogia da repetência ao longo das décadas. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro: CESGRANRIO , v. 3, n. 6, p. 55-62, jan./mar. 1995.
• Koslinski, M. C.; Alves, F. Novos olhares para as desigualdades de oportunidades educacionais: a segregação residencial e a relação favela-asfalto no contexto carioca. Educação & Sociedade, Campinas: CEDES, v. 33, n. 120, p. 805-831, jul./set. 2012. http://dx.doi.org/10.1590/S0101-73302012000300009
  » http://dx.doi.org/10.1590/S0101-73302012000300009
• Laros, J. A.; Marciano, J. L. Análise multinível aplicada aos dados do NELS 88. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas , v. 19, n. 40, p. 263-278, maio/ago. 2008. http://dx.doi.org/10.18222/eae194020082079
  » http://dx.doi.org/10.18222/eae194020082079
• Laros, J. A.; Marciano, J. L.; Andrade, J. M. Fatores associados ao desempenho escolar em Português: um estudo multinível por regiões. Ensaio: Avaliação de Políticas Públicas Educacionais, Rio de Janeiro: CESGRANRIO , v. 20, n. 77, p. 623-646, out./dez. 2012. http://dx.doi.org/10.1590/S0104-40362012000400002
  » http://dx.doi.org/10.1590/S0104-40362012000400002
• Machado, C.; Alavarse, O. M.; Oliveira, A. S. Avaliação da educação básica e qualidade do ensino: estudo sobre os anos finais do ensino fundamental da rede municipal de ensino de São Paulo. Revista Brasileira de Política e Administração da Educação, Goiás: ANPAE, v. 31, n. 2, p. 335-353, maio/ago. 2015. https://doi.org/10.21573/vol31n22015.61731
  » https://doi.org/10.21573/vol31n22015.61731
• Menezes-Filho, N. A. Os determinantes do desempenho escolar do Brasil São Paulo: IFB; IBMEC/SP; FEA/SP, 2007.
• Mortimore, P. et al School matters: the junior years. Shepton Mallett: Open Books, 1988.
• Nascimento, P. A. M. M. Desempenho escolar e gastos municipais por aluno em educação: relação observada em municípios baianos para o ano 2000. Ensaio: Avaliação de Políticas Públicas Educacionais, Rio de Janeiro: CESGRANRIO , v. 15, n. 56, p. 393-412, set. 2007. http://dx.doi.org/10.1590/S0104-40362007000300006
  » http://dx.doi.org/10.1590/S0104-40362007000300006
• Paiva, V.; Junqueira, C.; Muls, L. Prioridade ao ensino básico e pauperização docente. Cadernos de Pesquisa, São Paulo: Fundação Carlos Chagas , v. 100, p. 109-119, mar. 1997.
• Palermo, G. A.; Silva, D. B. N.; Novellino, M. S. F. Fatores associados ao desempenho escolar: análise da proficiência em matemática dos alunos do 5º ano do ensino fundamental da rede municipal do Rio de Janeiro. Revista Brasileira de Estudos de População, Belo Horizonte: ABEP , v. 31, n. 2, p. 367-384, dez. 2014. http://dx.doi.org/10.1590/S0102-30982014000200007
  » http://dx.doi.org/10.1590/S0102-30982014000200007
• Pestana, M. I. G. S. O sistema nacional de avaliação da educação básica. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas , v. 1, n. 5, p. 81-84, jan./jun. 1992.
• Rodrigues, C. G.; Rios-Neto, E. L. G.; Pinto, C. C. X. Diferenças intertemporais na média e distribuição do desempeno escolar no Brasil: o papel do nível socioeconômico, 1997 a 2005. Revista Brasileira de Estudos de População, Belo Horizonte: ABEP , v. 28, n. 1, p. 5-36, jun. 2011. http://dx.doi.org/10.1590/S0102-30982011000100002
  » http://dx.doi.org/10.1590/S0102-30982011000100002
• Rutter, M. et al Conclusões, especulações e implicações. In: Brooke, N.; Soares, J. F. (Eds.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 1979.
• Santos, L. L. C. P. Políticas públicas para o ensino fundamental: Parâmetros Curriculares Nacionais e Sistema Nacional de Avaliação (SAEB). Educação & Sociedade, Campinas: CEDES, v. 23, n. 80, p. 346-367, set. 2002.
• Scheerens, J. School effectiveness research and the development of process indicators of school functioning. School Effectiveness and School Improvement, United Kingdom, v. 1, n. 1, p. 61-80, jan. 1990. https://doi.org/10.1080/0924345900010106
  » https://doi.org/10.1080/0924345900010106
• Silva, J.; Bonamino, A. M. C.; Ribeiro, V. M. Escolas eficazes na educação de jovens e adultos: estudo de casos na rede municipal do Rio de Janeiro. Educação em Revista, Belo Horizonte: UFMG, v. 28, n. 2, p. 367-392, jun. 2012. http://dx.doi.org/10.1590/S0102-46982012000200017
  » http://dx.doi.org/10.1590/S0102-46982012000200017
• Soares, J. F. Melhoria do desempenho cognitivo dos alunos no ensino fundamental. Cadernos de Pesquisa, São Paulo: Fundação Carlos Chagas , v. 37, n. 130, p. 135-160, abr. 2007. http://dx.doi.org/10.1590/S0100-15742007000100007
  » http://dx.doi.org/10.1590/S0100-15742007000100007
• Soares, J. F.; Alves, M. T. G. Desigualdades raciais no sistema brasileiro de educação básica. Educação e Pesquisa, São Paulo: USP , v. 29, n. 1, p. 147-165, jun. 2003. http://dx.doi.org/10.1590/S1517-97022003000100011
  » http://dx.doi.org/10.1590/S1517-97022003000100011
• Soares, J. F.; Andrade, R. J. Nível socioeconômico, qualidade e equidade das escolas de Belo Horizonte. Ensaio: Avaliação de Políticas Públicas Educacionais, Rio de Janeiro: CESGRANRIO , v. 14, n. 50, p. 107-126, mar. 2006. http://dx.doi.org/10.1590/S0104-40362006000100008
  » http://dx.doi.org/10.1590/S0104-40362006000100008
• Soares, T. M. Modelo de três níveis hierárquicos para a proficiência dos alunos de 4ª série avaliados no teste de língua portuguesa do SIMAVE/PROEB 2002. Revista Brasileira de Educação, Rio de Janeiro: ANPEd, v. 29, p. 73-88, ago. 2005. http://dx.doi.org/10.1590/S1413-24782005000200007
  » http://dx.doi.org/10.1590/S1413-24782005000200007
• Stocco, S.; Almeida, L. C. Escolas municipais de Campinas e vulnerabilidade sociodemográfica: primeiras aproximações. Revista Brasileira de Educação, Rio de Janeiro: ANPEd , v. 16, n. 48, p. 663-814, dez. 2011. http://dx.doi.org/10.1590/S1413-24782011000300008
  » http://dx.doi.org/10.1590/S1413-24782011000300008
• Teixeira, R. A. Espaços, recursos escolares e habilidades de leitura de estudantes da rede pública municipal do Rio de Janeiro: estudo exploratório. Revista Brasileira de Educação, Rio de Janeiro: ANPEd , v. 14, n. 41, p. 232-390, ago. 2009. http://dx.doi.org/10.1590/S1413-24782009000200003
  » http://dx.doi.org/10.1590/S1413-24782009000200003
• Teixeira de Freitas, M. A. A escolaridade media no ensino primário brasileiro. Revista Brasileira de Estatística, Rio de Janeiro: IBGE, v. 8, n. 30/31, p. 295-474, abr./set. 1947.
• Zaponi, M.; Valença, E. Política de responsabilização educacional: a experiência de Pernambuco: ABAVE, 2009.
• Van Den Eeden, P.; Hox, J.; Hauer, J. Theory and model in multilevel research: convergence or divergence? Amsterdam: SISWO, 1990.

• 1
  A performance discente nos exames da Prova Brasil está diretamente relacionada à perspectiva de avaliação adotada pelo INEP, bem como aos conteúdos selecionados. Nesse sentido, a maior ou menor adequação aos critérios oficiais diz respeito a um modelo individualizado de testagem que avalia competências cognitivas e habilidades que são subdivididas em tópicos e descritores. Assim, cada habilidade é demonstrada por meio da associação entre conteúdos curriculares, operações mentais e respostas que podem ser escalonadas para medir as aparentes competências de estudantes nas disciplinas de língua portuguesa, com foco na leitura, e de matemática, com foco na resolução de problemas.

Datas de Publicação

• Publicação nesta coleção
  11 Mar 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  29 Jan 2018
• Aceito
  24 Ago 2018