Resumo A partir da pesquisa longitudinal Geres, o estudo propõe a comparação de diferentes modelos estatísticos com graus variados de complexidade para determinar a eficácia de escolas de Ensino Fundamental. O propósito da comparação é o de determinar se um grau maior de complexidade se justifica em termos de maior precisão e se há diferenças entre os modelos na sua consistência e capacidade de retratar de modo estável o desempenho da escola. Os dois modelos mais simples da contribuição da escola para a proficiência do aluno, denominados modelos de Status, incorporam ou uma medida do nível socioeconômico médio da escola, ou uma medida da condição socioeconômica de cada aluno como proxy para a proficiência prévia. Os outros dois, denominados de modelos de Valor Agregado (VA), incorporam medidas da proficiência prévia, o que os tornam modelos em condições de descrever o ganho de aprendizagem atribuível à escola no período em estudo. O estudo indica alta correlação entre os modelos de VA, mas baixa correlação deles com os modelos de Status, mostrando que é pequeno o ganho de precisão com a adição de uma medida da condição socioeconômica de cada aluno. Descobre-se que cerca de 80% das escolas apresentam estabilidade para as diferentes medidas temporais de VA, sugerindo que a eficácia seja, de fato, uma característica razoavelmente estável no tempo, e que o VA pode contribuir para a comparação das escolas e a definição de intervenções, pelo menos no primeiro segmento do Ensino Fundamental.

Abstract Using data from the GERES longitudinal research program, the study proposes the comparison of statistical models of varying degrees of complexity to determine the effectiveness of elementary schools. The purpose of the comparison is to determine whether a greater degree of complexity is justified in terms of improved accuracy and if there are differences between the models regarding their consistency and stability when portraying school performance. The two simplest models for the contribution of the school to student proficiency, named status models, use as a proxy for prior proficiency either a measure of the school’s average socioeconomic status or a measure of the socioeconomic condition of each student. The other two, called value-added models-VA, incorporate real prior proficiency measures, enabling them to describe the learning gain attributable to the school over the period under study. The results indicate high correlations between the VA models and a low correlation between these and the status models, showing that the gain in precision with the addition of a measure of the socioeconomic condition of each student is small. It is shown that for about 80% of schools the measures of VA across time are stable, suggesting that school effectiveness is a reasonably stable characteristic and that a measure of VA can contribute to the comparison of schools and the definition of interventions, at least during the first years of elementary schooling.

Resumen A partir de la investigación longitudinal GERES, el estudio propone comparar diferentes modelos estadísticos con grados variados de complejidad para determinar la eficacia de escuelas primarias. El propósito de la comparación es determinar si un mayor grado de complejidad se justifica en términos de una mayor precisión, y si hay diferencias entre los modelos en su consistencia y capacidad para retratar de manera estable el rendimiento de la escuela. Los dos modelos más simples de la contribución de la escuela para la proficiencia del estudiante, llamados modelos de status, incorporan una medida del nivel socioeconómico promedio de la escuela o una medida de la situación socioeconómica de cada alumno como proxy de la proficiencia previa. Los otros dos, llamados Modelos de Valor Agregado - VA, incorporan medidas de proficiencia prévia, que los hacen modelos capaces de describir la ganancia de aprendizaje atribuible a la escuela durante el período estudiado. El estudio indica una alta correlación entre los modelos de VA, ysu baja correlación con los modelos de status, lo que demuestra que la ganancia de precisión con la adición de una medida de la situación socioeconómica de cada alumno es pequeña. Resulta que alrededor del 80% de las escuelas se mantuvieron estables para las diferentes medidas temporales de VA, lo que sugiere que la eficacia es, en realidad, una característica razonablemente estable en el tiempo y que el VA puede ayudar en la comparación de las escuelas y en la definición de las intervenciones, al menos en el primer segmento de la escuela primaria.

Este artigo compara duas abordagens de valor agregado para dados oriundos do survey educacional de recorte longitudinal, chamado GERES - Estudo Longitudinal da Geração Escolar 2005, que acompanhou uma coorte de alunos de mais de 300 escolas públicas e privadas ao longo dos primeiros quatro anos do Ensino Fundamental. Ambas as abordagens utilizam modelos lineares hierárquicos, permitindo o agrupamento natural dos dados educacionais provenientes dos três níveis: aluno, turma e escola. Na primeira abordagem de valor agregado, constroem-se modelos cuja variável dependente é a proficiência do aluno em cada ano avaliado. Com um modelo distinto para cada ano é possível detectar fatores do aluno, da turma e da escola associados ao desempenho dos alunos. A segunda abordagem cria modelos para mostrar o efeito das covariáveis de aluno, turma e escola nas curvas de evolução da proficiência ao longo do período do estudo. Quando comparados os dois tipos de modelos de valor agregado, o primeiro foi o mais eficiente em diagnosticar os efeitos do ambiente e da prática pedagógica do professor, mas somente em determinados anos. Já o segundo tipo de modelo foi capaz de identificar curvas de evolução de proficiência de formatos distintos de acordo com determinadas características das escolas e dos alunos, mas foi menos sensível na identificação de variáveis associadas ao processo de formação de grupos e à prática pedagógica do professor. Os dois tipos de modelos de valor agregado oferecem indicações de processos de aprendizagem diferenciados para as disciplinas Língua Portuguesa e Matemática que mereceriam estudos adicionais.

This article compares two value-added approaches to data from the longitudinal education survey called Estudo Longitudinal da Geração Escolar 2005 (GERES - Longitudinal Study of 2005 School Generation), which followed a cohort of students from more than 300 public and private schools over the first four years of primary education. Both approaches use hierarchical linear models, allowing the natural grouping of educational data from three levels: student, class and school. The first value-added approach builds models whose dependent variable is the student proficiency in each year evaluated. With a separate model for each year, it is possible to detect factors of the student, class and school associated with student performance. The second approach creates models to show the effect of the covariates of student, class and school on progress curves of proficiency throughout the study period. When comparing the two types of value-added models, the first one was the most efficient in diagnosing the effects of the environment and the teacher's pedagogical practice, but only in certain grades. The second type of model was able to identify progress curves of proficiency of different formats according to certain characteristics of schools and students, but was less sensitive to identify variables associated with the group formation process and the teacher's pedagogical practice. The two types of value-added models offer indications of differentiated learning processes for the disciplines of Portuguese and Mathematics, which deserve further study.

Este artigo apresenta o relato do desenho metodológico do "Estudo longitudinal sobre qualidade e eficácia no ensino fundamental brasileiro: GERES 2005". O GERES ainda está em desenvolvimento e sua principal característica é o acompanhamento de uma mesma amostra de alunos dos anos iniciais do ensino fundamental ao longo de quatro anos. Cinco cidades participam do estudo, a saber: Belo Horizonte (MG), Rio de Janeiro (RJ), Salvador (BA), Campinas (SP) e Campo Grande (MS). O estudo começou em 2005 e envolve a aplicação de testes cognitivos em Leitura e em Matemática, bem como questionários contextuais para alunos, professores e diretores das escolas participantes. A Teoria de Resposta ao Item Paramétrica tem sido utilizada com o propósito de equalização das escalas para os diferentes níveis de escolarização (anos ou seus equivalentes), de modo que seja possível obter uma curva de crescimento da proficiência ao longo do tempo para cada aluno observado. O GERES tem como objetivo central investigar quais práticas pedagógicas e condições escolares contribuem para a promoção da eficácia e da eqüidade escolar, tendo como principal abordagem analítica a utilização de modelos multiníveis.

This article presents a description of the methodology of "A longitudinal study of quality and equity in brazilian Elementary Education: GERES 2005". The GERES study is still being developed and its principal characteristic is the monitoring of a group of pupils throughout their first four years of Elementary Education. Five cities are taking part in the study: Belo Horizonte (MG), Rio de Janeiro (RJ), Salvador (BA), Campinas (SP) and Campo Grande (MS). The study started in 2005 and it involves the application of Reading and Math tests, as well as the application of context questionnaires to pupils, teachers and the principals of schools which take part in project. Item Response Theory has been used to equalize the scales for the different periods of schooling (years or their equivalent) in order to obtain a proficiency growth curve for each pupil for the period of the study. The GERES project aims to investigate those classroom activities and school conditions that contribute to the promotion of school efficiency and equity, having the use of multileveled models as analytical approach.

Este artículo presenta relato del diseño metodológico del "Estudio longitudinal sobre cualidad y eficacia en la enseñanza fundamental brasileña: GERES 2005". El GERES aún está en desenvolvimiento y su principal característica es el acompañamiento de una misma muestra de alumnos de los años iniciales de la enseñanza fundamental al longo de cuatro años. Cinco ciudades participan del estudio, a saber: Belo Horizonte (MG), Rio de Janeiro (RJ), Salvador (BA), Campinas (SP) e Campo Grande (MS). El estudio comenzó en 2005 y envuelve la aplicación de testes cognitivos en Lectura y en Matemática, bien como cuestionarios contextuales para alumnos, profesores y directores de las escuelas participantes. La Teoría de Respuesta al Ítem Paramétrica tiene sido utilizada con el propósito de ecualización de las escalas para los diferentes niveles de escolarización (años o sus equivalentes), de modo que sea posible obtener una curva de crecimiento de la proficiencia al longo del tiempo para cada alumno observado. El GERES tiene como objetivo central investigar cuales prácticas pedagógicas y condiciones escolares contribuyen para la promoción de la eficacia y de la equidad escolar, teniendo como principal abordaje analítico la utilización de modelos multiniveles.

O artigo trata do surgimento da política em que a escola e seus dirigentes são responsabilizados pelos resultados dos alunos (accountability), e descreve os contornos e prováveis conseqüências das primeiras experiências no Brasil. Discute o contexto em que se produziram os exemplos mais conhecidos da política de responsabilização, na Inglaterra e nos Estados Unidos, com o propósito de avaliar se os resultados obtidos até agora no Brasil indicam a existência de condições para que ela se torne elemento central dos sistemas de gestão educacional nos estados. Os exemplos estudados são o Prêmio Educacional Escola do Novo Milênio - Educação Básica de Qualidade no Ceará, o Programa Nova Escola da Secretaria de Educação do Estado do Rio de Janeiro, e o Boletim da Escola da Secretaria de Educação do Estado de Paraná. A análise utiliza principalmente dados dos sistemas estaduais de avaliação de desempenho nas fórmulas empregadas para o cálculo das conseqüências para as equipes escolares, e chega à conclusão de que as condições políticas na maioria dos estados representam um empecilho à adoção extensiva dessa forma de responsabilização em um futuro próximo.

The article covers the rise of policies of accountability in which the school and its managers are held responsible for the attainment levels of their students and describes the probable consequences of the first examples of this type of policy in Brazil. The context in which the best known examples of the policy in England and the United States were created is the subject of discussion with the purpose of elucidating whether the first examples of accountability in Brazil show signs that the policy is likely to become a central element in the management of state education systems. The examples studied are the Education Prize New Millennium School - Basic Education of Quality in Ceará, the New School Program of the State Secretariat of Education of Rio de Janeiro and the School Bulletin of the State Secretariat of Education of Paraná. The analysis dwells principally on the use of the state education assessment systems in the calculation of outcomes for school personnel and reaches the conclusion that current political conditions in most states represent an impediment to the widespread adoption of accountability in the near future.