Letramento em Matemática: um estudo a partir dos dados do PISA2003

Mathematical Learning: a study based on data from the PISA2003

ARTIGOS

Letramento em Matemática: um estudo a partir dos dados do PISA2003

Mathematical Learning: a study based on data from the PISA2003

Glauco da Silva Aguiar^I; Maria Isabel Ramalho Ortigão^II

^IDoutor em Educação. Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio). Professor do Colégio Militar do Rio de Janeiro (CMRJ), Rio de Janeiro, RJ, Brasil

^IIDoutora em Educação. Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio). Professora da Universidade do Estado do Rio de Janeiro (UERJ), Rio de Janeiro, RJ, Brasil

^{Endereço para correspondência}

RESUMO

Neste trabalho partimos do pressuposto de que os resultados das avaliações em larga escala são instrumentos adequados para compreender o currículo aprendido. Entendemos, ainda, que os resultados obtidos por distintos países em avaliações internacionais constituem-se uma boa estratégia para captar ênfases diferenciadas no currículo ensinado. A partir dos resultados do Programa Internacional de Avaliação dos Estudantes - PISA 2003, buscou-se comparar diferenças nas ênfases curriculares em Matemática entre Brasil e Portugal. Para isto, a pesquisa utilizou como metodologia a análise do Funcionamento Diferencial do Item (DIF). Esta metodologia possibilita identificar itens que violam um dos principais pressupostos da Teoria de Resposta ao Item (TRI), segundo o qual, alunos de grupos distintos, mas de mesma habilidade cognitiva, têm a mesma probabilidade de acertar um item. A análise em 84 itens da prova de Matemática do PISA 2003 mostrou que alguns itens apresentam DIF entre alunos brasileiros e portugueses. De modo sintético, podemos dizer que alguns itens mostram-se mais fáceis aos alunos brasileiros, em especial os que se referem à subárea Quantidade. Já os itens da subárea Mudança e Relações são, aparentemente, mais fáceis aos alunos portugueses. Ao mesmo tempo, itens envolvendo contextos científicos mostram-se mais fáceis aos alunos portugueses, enquanto os que envolvem contextos da vida pessoal são mais fáceis aos brasileiros. Os resultados desta pesquisa evidenciam a relevância e necessidade da ampliação do debate curricular no campo da educação matemática. A compreensão dos resultados dos testes de avaliação em larga escala pode fornecer novas questões sobre o como e o quê os alunos aprendem Matemática.

Palavras-chave: Educação Matemática. Currículo Aprendido. PISA2003. Funcionamento Diferencial do Item.

ABSTRACT

This work begins with the assumption that the results of large-scale evaluations are appropriate tools for understanding the curriculum learned. We also think that the results of international evaluations conducted in different countries are a good strategy to identify the different emphases of the various curriculums. Based on the results of the Program of International Student Assessment - PISA2003, a comparison was made between differences in math curriculum emphases in Brazil and Portugal. The methodology used for analysis was Differential Item Functioning (DIF). This methodology enables the identification of items that violate one of the key assumptions of Item Response Theory (IRT), whereby students from different groups, but the same cognitive skill, have the same probability of answering an item correctly. Analysis of 84 items of the mathematics test of the PISA 2003 showed that some items present DIF between Brazilian and Portuguese students. Some items are easier for Brazilian students, in particular as regards the sub-area "quantity". On the other hand, the items of the sub-area "change and relationships" are apparently easier for students from Portugal. Items involving scientific contexts are easier for students in Portugal, as well, while involving contexts of personal life are easier for Brazilians. The results of this survey demonstrate the relevance and need of expanded debate on curriculum in education mathematics. Understanding the results of the tests of large-scale evaluations can provide new questions about how and what students learn about Mathematics.

Keywords: Education Mathematics. Curriculum Learned. PISA2003. Differential Item Functioning.

1 Introdução

É inegável, atualmente, a convicção de que a escola faz diferença na formação dos jovens. Estudos têm mostrado que algumas escolas, algumas comunidades, alguns países são melhores do que outros em ajudar seus alunos com características semelhantes a aprenderem Linguagem, Matemática e Ciências.

Nas ultimas décadas, diversos estudos, realizados com o intuito de buscar entender a contribuição das escolas na formação das crianças e jovens, evidenciaram a relação entre as características sócio-culturais e econômicas dos estudantes e de suas famílias e os resultados escolares por eles obtidos. Foi marcante, no final dos anos 1960, o Relatório Coleman (COLEMAN, 1966), o qual abalou profundamente a imagem da escola meritocrática americana, desencadeando uma imensa produção de pesquisas que focalizaram a questão das desigualdades educacionais.

Um estudo realizado nos Estados Unidos, no final da década de 1970, com o propósito de discutir o trabalho pedagógico realizado em cinco escolas americanas, evidenciou a associação entre o perfil social dos alunos da escola e o currículo ensinado em cada uma delas (ANYON, 1980). No estudo, as cinco escolas observadas foram selecionadas com base no perfil social de seus alunos. A partir de observações de aula, ocorridas no período de um ano em turmas de quinta série, e de entrevistas com alunos e professores, a autora concluiu que os currículos, as práticas e as habilidades desenvolvidas associavam-se aos diferentes perfis de alunos, contribuindo para a manutenção e reprodução das desigualdades existentes na sociedade.

De maneira geral, as pesquisas educacionais têm sugerido que as escolas são diferentes, não só em relação ao perfil socioeconômico e cultural dos estudantes, mas, também, quanto aos processos de escolarização que ocorrem em cada uma delas (LEE; SMITH, 2002; SOARES, 2005; ORTIGÃO; FRANCO; CARVALHO, 2007; FRANCO; SZTAJN; ORTIGÃO, 2007; ALVES; ORTIGÃO; FRANCO, 2007; FRANCO et al., 2007; CASASSUS, 2007; CARNOY; GOVE; MARSHALL, 2007).

Os levantamentos educacionais, bem como as pesquisas vinculadas a eles, têm contribuído para que pesquisadores e educadores compreendam as dinâmicas que levam à desigualdade. Para eles, tal compreensão é o primeiro passo para superá-las. Entender como se cria e se mantém uma determinada situação é importante, porque nos indica possíveis caminhos a seguir.

O entendimento do que ocorre nas escolas passa, necessariamente, pela compreensão do contexto e dos processos escolares, bem como dos resultados. O primeiro abarca a compreensão dos aspectos do contexto social, que agrega tanto as características do ambiente onde a escola está situada, como o contexto da própria escola, modificáveis apenas por políticas fora do controle imediato dessa. Os estudos sobre o contexto escolar buscam avaliar tanto características das políticas educacionais dos órgãos centrais e da escola, como o ambiente de seu entorno - sua localização e o perfil socioeconômico e cultural dos alunos e de suas famílias. O segundo compreende o conhecimento das características da comunidade escolar e dos processos associados à cultura da escola (FORQUIN, 1995), aos professores e à rotina de cada sala de aula. Segundo Soares (2005), com o desenvolvimento de ferramentas estatísticas as pesquisas educacionais têm se debruçado sobre os processos internos das escolas, interessadas em compreender o que torna determinadas escolas melhores que outras. Essas pesquisas resgatam a importância da escola, principalmente por mostrarem que há escolas que conseguem fazer o aluno avançar mais do que seria esperado, tendo em vista o seu contexto familiar.

Neste trabalho usamos os resultados¹ do PISA-2003 - Programa Internacional de Avaliação dos Estudantes - para investigar se há ênfases curriculares diferenciadas, em Matemática, entre escolas brasileiras e portuguesas. O estudo aqui apresentado situa-se na compreensão do contexto escolar, partindo do pressuposto de que os resultados das avaliações em larga escala são instrumentos adequados para compreender o currículo aprendido (FORQUIN, 1995). Especificamente, nosso interesse voltou-se à identificação de características que fossem capazes de explicar as causas das diferenças nos resultados em Matemática entre estudantes do Brasil e de Portugal.

Este texto está organizado em sete sessões, além desta introdução. Na sequência, apresentamos breve discussão acerca do currículo e das recentes recomendações ao ensino e à aprendizagem da matemática escolar. De forma sintética, descrevemos a pesquisa, suas questões, os dados utilizados e a abordagem metodológica adotada. Na continuidade, discutimos os resultados obtidos e, finalmente, tecemos nossas conclusões.

2 Currículo

Existe na literatura educacional uma pluralidade de concepções acerca da palavra currículo; cada uma pressupõe valores e concepções implícitas. O currículo pode ser entendido como o programa de ensino, os conteúdos ou matriz curricular (ORTIGÃO; SZTAJN, 2001), ou mesmo, as ações que circulam na escola. Nas últimas décadas, a discussão em torno do currículo colocou em destaque a relação entre dominação econômica e cultural e o currículo escolar, enfatizando que a seleção do conhecimento escolar não é um ato desinteressado e neutro, mas culturalmente determinado, historicamente situado, não podendo ser desvinculado da totalidade do social.

A escola não é apenas um local onde se estabelecem relações de poder e relações interpessoais, mas, por excelência, é o espaço institucional privilegiado, por onde circulam saberes e símbolos da sociedade moderna. Diferentes escolas podem fazer diferentes tipos de seleção no interior da cultura. Os docentes podem ter hierarquias de prioridades divergentes, mas todos os docentes e todas as escolas fazem seleções de um tipo ou de outro (FORQUIN, 1992).

Forquin utiliza as denominações currículo formal e currículo ensinado e currículo aprendido como aspectos possíveis dessa seleção no interior da cultura, conforme nos coloquemos do ponto de vista dos construtores de programas e responsáveis oficiais, ou do ponto de vista dos docentes em suas salas de aula, ou, ainda, na posição de alunos. Para o autor, aquilo que é realmente aprendido, retido e compreendido pelos alunos não corresponde, tampouco, àquilo que os docentes ensinam ou creem ensinar, pois a recepção da mensagem depende do contexto social e cultural (FORQUIN, 1992).

A consciência dessas diferentes concepções acerca do currículo leva a um deslocamento no modo de olhar a escola, que passa a ser vista como o local por excelência, nas sociedades modernas, de gestão e de transmissão de saberes e de símbolos. Para ele, elaboração curricular envolve tomada de decisão em relação à seleção, organização e distribuição do conhecimento que toda uma população estará sujeita na sua formação escolar (FORQUIN, 1992).

Nosso interesse em compreender os processos internos com relação ao currículo da matemática escolar, nos conduziu ao diálogo com a literatura específica de Educação Matemática e suas recomendações atuais ao ensino e à aprendizagem da Matemática.

2.1 Currículo de Matemática: a proposta de renovação das últimas décadas

No Brasil, a divulgação dos Parâmetros Curriculares Nacionais - PCN (BRASIL, 1998) e as sucessivas avaliações nacionais de livros didáticos (PNLD/MEC) foram decisivas para algumas modificações ocorridas nos currículos de Matemática da escola básica, dentre as quais se destacam o desaparecimento dos conjuntos e a ampliação das áreas de ensino (ORTIGÃO; SZTAJN, 2001).

Na base dessas propostas, estão as recomendações contidas no documento Agenda para a Ação (NCTM, 1989), que nortearam as modificações curriculares da Matemática escolar em diversos países. Nesse documento, a resolução de problemas é destacada como o foco do ensino de Matemática, nos anos 1980. Além dos aspectos cognitivos - tradicionalmente valorizados - o documento refere-se, também, à relevância dos aspectos sociais, antropológicos e linguísticos como tendo imprimido novos rumos às discussões curriculares. Ganha força, neste momento, a ideia de que os currículos escolares precisam valorizar a construção de competências básicas necessárias ao cidadão e não mais o ensino propedêutico, simplesmente.

A literatura em Educação Matemática tem reportado três justificativas que motivaram as reformas curriculares ocorridas a partir dos anos 1980: (1) pressuposição de que o ensino de Matemática tem produzido baixos resultados no desempenho dos alunos; (2) reconhecimento de que o mundo necessita de estudantes com maiores habilidades no uso de ferramentas matemáticas; (3) avanços educacionais que passaram a valorizar a aprendizagem coletiva, os conhecimentos prévios dos alunos e a construção do conhecimento pelos estudantes.

O ensino de Matemática, na perspectiva renovadora, caracteriza-se pela ressignificação dos conteúdos a ser ensinados e pelos novos papéis para alunos e professores. Neste sentido, ampliam-se os ramos da Matemática, passando a se considerar Tratamento da Informação e Medidas e Grandezas como áreas fundamentais para a formação da cidadania, além das já tradicionais Números, Álgebra e Geometria. A resolução de problemas assume papel central no ensino-aprendizagem, e o que era básico para a disciplina é ressignificado (CARVALHO; SZTAJN, 1997). Dentro dessa ótica, os conhecimentos matemáticos são identificados como meios para compreender e transformar a realidade. O ensino e a aprendizagem da Matemática devem conduzir os estudantes a fazer observações sistemáticas de aspectos qualitativos e quantitativos da realidade; além de capacitá-los para selecionar, organizar e produzir informações relevantes.

Aos alunos e professores, lhes são oferecidos novos papéis, tais como: a construção do conhecimento pelo aluno, o trabalho em equipe e a comunicação em sala de aula. Neste contexto, o professor é o organizador da aprendizagem, caracterizado como alguém que encoraja os alunos na busca de soluções dos problemas, que valoriza os processos de pensamento dos alunos e que os incentiva a comunicar-se matematicamente, envolvendo-os em tarefas ricas e significativas - do ponto de vista intelectual e social.

3 Questões de pesquisa e método

A recente participação do Brasil na avaliação da OCDE tornou possível a investigação do currículo escolar das escolas brasileiras, em uma perspectiva comparada internacionalmente, a partir dos resultados dos estudantes nos testes de Leitura, Matemática e Ciências e em suas respostas aos questionários contextuais (BRASIL, 2001; OCDE, 2005a, OCDE, 2005).

Especificamente, esta pesquisa procurou responder às seguintes questões gerais: (a) há diferenças de competência cognitiva entre os alunos brasileiros e portugueses? (b) é possível identificar competências matemáticas que são exploradas diferentemente nos currículos desses países? (c) que itens de prova apresentaram DIF? Esses itens seguem algum padrão?

Para responder às questões acima, foram utilizados os dados do PISA 2003. Essa avaliação visa medir o desempenho dos alunos em um momento específico de sua vida escolar, aos 15 anos de idade, e produzir indicadores sobre a efetividade dos sistemas educacionais dos diversos países participantes. As avaliações ocorrem a cada três anos, com ênfases distintas nas áreas do conhecimento de Leitura, Matemática e Ciências.

Nosso interesse foi o de investigar se há ênfases curriculares diferenciadas, em Matemática, entre escolas brasileiras e portuguesas. Em especial, identificar características curriculares que fossem capazes de explicar as causas das diferenças nos resultados em Matemática entre estudantes do Brasil e de Portugal.

Para a sua viabilidade, a pesquisa fez uso de metodologia específica denominada Funcionamento Diferencial do Item - DIF (AGUIAR, 2010; SOARES; GENOVEZ; GALVÃO, 2005). Esta metodologia possibilita identificar itens que violam um dos principais pressupostos da Teoria de Resposta ao Item, segundo o qual a probabilidade de acertar um item é função da proficiência do aluno. Ou seja, alunos de grupos distintos (por exemplo, brasileiros e portugueses) com igual proficiência têm a mesma probabilidade de acertar um item. Caso isso não ocorra, podemos afirmar que algum fator que extrapola a habilidade cognitiva do aluno está tornando um item mais fácil para um dos grupos. No total, foram analisados 84 itens da prova de Matemática do PISA 2003, dos quais 23 apresentaram DIF.

4 O que o PISA avalia em Matemática

O PISA enfatiza a avaliação das competências de tipo escolar necessárias à vida moderna, não se concentrando somente nos conteúdos curriculares. O programa busca verificar a operacionalização de esquemas cognitivos, nas diferentes áreas. Para refletir a amplitude dos conhecimentos, habilidades e competências que estão sendo avaliados, usa-se o conceito de letramento, que remete à capacidade de o aluno aplicar seus conhecimentos, analisar, raciocinar e se comunicar com eficiência, à medida que expõe, resolve e interpreta problemas, em diversas situações. O termo letramento foi escolhido para refletir a amplitude dos conhecimentos, habilidades e competências que estão sendo avaliados. Assim, o desenvolvimento do letramento é um processo de aprendizagem ao longo da vida e, portanto, mais amplo do que a noção histórica da capacidade de ler e escrever.

Para uma melhor compreensão desse modelo dinâmico de aprendizagem, em que novos conhecimentos e habilidades devem ser continuamente adquiridos, apresentamos, a seguir, um exemplo de item utilizado na avaliação do PISA-2003. Destacamos que a apresentação da imagem é feita tal como aparece nos cadernos de teste, exceto o tamanho original, que foi reduzido.

Trata-se de um item que avalia conteúdos relacionados à subárea Quantidade, cuja competência, exigida para sua resolução, é conexão e o contexto envolvido é Educacional/Ocupacional, conforme as definições do próprio PISA.

Para cada área avaliada existe uma escala contínua, em que os níveis de desempenho dos alunos e o posicionamento destes ao longo da escala estão representados pelo número de pontos alcançados. Particularmente em Matemática, as competências são avaliadas em itens que abrangem desde a realização de operações básicas até as habilidades de alta ordem, envolvendo raciocínio e descobertas matemáticas. Especificamente, estas habilidades são sintetizadas em três grupos: reprodução, conexão e reflexão. O primeiro compreende os processos cognitivos que são requeridos para que o aluno demonstre as habilidades matemáticas que estão ligadas de maneira muito próxima ao que é usualmente entendido como conteúdo. Na maioria das vezes, a solução do item da prova está apoiada em dados e fatos memorizados e na execução de ações repetidas. O segundo parte do anterior, mas envolve os processos cognitivos exigidos para que o aluno possa demonstrar habilidades relacionadas ao saber fazer, mesmo que de maneira incipiente. A resolução das tarefas demanda a reunião de ideias para solucionar problemas matemáticos diretos, com maior interpretação da situação. O terceiro desenvolve-se a partir do grupo de conexão, mas abrange habilidades necessárias para a resolução de tarefas que precisam de um pensamento matemático mais amplo, exigindo insight, reflexão e até mesmo criatividade para a resolução do problema.

No PISA os conteúdos matemáticos são organizados em quatro áreas estruturantes, a saber: Quantidade, Espaço e forma, Mudanças e relações, Incerteza. Para os organizadores da avaliação, as três primeiras constituem a essência de qualquer currículo de Matemática da educação básica. A quarta (Incerteza) atende ao caráter mais abrangente da Competência Matemática e se conecta com as necessidades da vida diária do cidadão. Observa-se uma grande proximidade dessa organização com a que é utilizada pelo PCN (BRASIL, 1998), que, embora apresente nomes ligeiramente diferentes, usa as mesmas categorias.

5 Comparando os desempenhos de Brasil e de Portugal

Os resultados do PISA 2003 sugerem o agrupamento dos países participantes em três grupos distintos, de acordo com seus desempenhos na prova de Matemática. O primeiro grupo é constituído por dezoito países que obtiveram pontuação acima da média da OCDE, que é de 500 pontos. Quatro países fazem parte do segundo grupo, cujas médias equivalem à média geral da OCDE. Um terceiro grupo, formado por dezenove países, onde se encontram Brasil (356) e Portugal (466), tiveram médias abaixo da média da OCDE.

Embora com resultados muito abaixo do desejável, o Brasil foi o país que apresentou maior crescimento na escala global de Matemática ao longo dos três ciclos do PISA (OCDE, 2005). Saímos de 334 pontos, em 2000, para 356, em 2003, e, em 2006, alcançamos 370. Portugal não apresentou diferenças estatisticamente significativas em suas médias nos três ciclos de avaliação (454, 466 e 466, respectivamente), pois estas estão dentro do mesmo intervalo de confiança (95%). O gráfico abaixo apresenta a evolução das médias dos dois países.

Considerando as médias por subáreas, a análise evidencia que Portugal apresenta maior homogeneidade nos resultados médios do que o Brasil. Os valores médios são mais próximos, evidenciando que não há tanta hierarquia de prioridades nos processos de transmissão e aprendizagem de alguns conteúdos da Matemática. Os resultados médios por áreas variam de 450 (Espaço e Forma) a 471 (Incerteza), uma diferença de 21 pontos. Já o Brasil mostra-se bastante heterogêneo, apresentando seu melhor resultado em Incerteza (377), e pior em Mudança e Relações (333), uma diferença de 44 pontos.

De modo geral, pode-se constatar que a situação média dos alunos brasileiros no PISA é preocupante. Portugal, mesmo estando no mesmo grupo que o Brasil, na classificação geral, apresenta resultados bem melhores. Essa situação se mantém ao olharmos para as quatro subáreas do conteúdo de Matemática. Há uma similaridade quanto à melhor performance dos alunos nos dois países em Incerteza. Quanto aos piores resultados, os países divergem. No Brasil os alunos se saíram pior em Mudança e Relações, em questões de Álgebra, que envolvem manifestações matemáticas de relações e dependências funcionais entre variáveis. Em Portugal o desempenho mais fraco dos alunos se deu em Espaço e Forma. Nesta subárea, os itens buscam captar as habilidades e competências em tarefas que envolvem relações geométricas, por exemplo, a compreensão das propriedades dos objetos e de suas posições relativas.

Cabe ressaltar que, para uma melhor dimensão do significado dessas diferenças de pontuação, a distância entre dois níveis contíguos de proficiência na escala contínua está estimada em 62 pontos. Ou seja, a diferença da pontuação média, na escala global de Matemática, entre Brasil (356) e Portugal (466) é de 110 pontos, o que significa que, para além de ser estatisticamente significativa, a maioria dos nossos alunos se situa dois níveis abaixo da posição ocupada pelos seus colegas portugueses na escala do PISA. Com esse resultado, Portugal situa-se, em média, no nível 2 da escala, onde, de modo geral,

neste nível os alunos são capazes de interpretar e reconhecer situações em contextos que não requerem mais do que uma inferência direta. São capazes de extrair informação relevante de uma única fonte e conseguem fazer uso de um único modo de representação. Conseguem empregar algoritmos, fórmulas, procedimentos, ou convenções a um nível básico. São capazes de efetuar raciocínios diretos e fazem interpretações literais dos resultados. (OCDE, 2005, p. 28)

A média dos alunos brasileiros situa-se abaixo do nível 1 na escala de proficiência, permitindo afirmar que "estes não foram capazes de utilizar as capacidades matemáticas requeridas pelas tarefas mais simples do estudo PISA" (OCDE, 2005, p. 32).

O esforço para compreender esses resultados não pode prescindir de uma análise cuidadosa das variáveis correlacionadas aos resultados e, igualmente, dos seus efeitos e mecanismos de atuação. Pesquisadores e avaliadores há muito desenvolvem modelos explicativos de rendimento escolar e pode-se dizer que existe consenso em relação a algumas variáveis que devem ser consideradas sempre que o objetivo for explicar os rendimentos alcançados pelos alunos avaliados. Para eles, esses fatores são determinantes da posição dos países no ranking.

Um desses fatores é a distorção idade-série. O Brasil apresenta um alto índice de atraso escolar: 42,9% dos alunos que participaram do PISA2003, com 15 anos de idade, cursavam a série adequada para a idade, ou seja, o primeiro ano do Ensino Médio (EM); 13,7% deles cursavam a sétima série, portanto, com 2 anos de atraso escolar; e 24,8% apresentava um ano de atraso escolar. O percentual de alunos na segunda série do Ensino Médio era de 18,1% e, na terceira série, de apenas 0,5%.

Portugal, um dos poucos países membros da OCDE no qual o atraso escolar ainda é um problema, apresenta: 64,3% de seus alunos na série adequada; 20,3% com um ano de atraso; 10,6% com dois anos de atraso; 4,2% com três anos de atraso; 0,6% em série mais adiantada.

Os gráficos abaixo mostram o desempenho médio na escala global de Matemática, de acordo com o ano de escolaridade, no Brasil e em Portugal. Observa-se que a média dos alunos brasileiros que, em 2003, cursavam o 2º ano do ensino médio situa-se abaixo da média global da OCDE (424); o mesmo ocorrendo com aqueles que nesta época estavam no 3º ano EM (438). O mesmo não ocorre com a média dos alunos portugueses: os que cursavam o 2º ano do EM tiveram média igual a 505 (ligeiramente acima da média global, que é de 500 pontos); já os que cursavam o 3º ano obtiveram média igual a 591, acima da média global. Portanto, no caso de Portugal, excluindo-se os alunos com atraso nos cálculos da média de desempenho, a mudança de posicionamento na escala seria considerável: subiria do nível 2 para o nível 4 e passaria a fazer parte dos países que compõem o grupo 1, com médias acima da OCDE. Já com relação ao Brasil, mesmo que excluíssemos os alunos com atraso escolar, a média daqueles que nunca passaram pela experiência de reprovação continuaria abaixo da média global, independente de cursarem a série adequada ou estar adiantados.

Na sequência, apresentamos os resultados da análise de DIF - Funcionamento Diferencial do Item -, realizada com o intuito de analisar diferenças curriculares entre os dois grupos de alunos.

6 Resultados e discussões das análises de DIF com os dados do PISA

Para além das diferenças encontradas nas médias globais dos dois países, nosso interesse voltou-se à compreensão sobre o que leva alguns itens do PISA-2003 mostrarem-se mais fáceis para estudantes brasileiros ou portugueses. É importante salientar que, aqui, a acepção de itens mais fáceis para alunos de um grupo em relação a outro grupo pressupõe, sempre, comparações controladas pela proficiência em Matemática, isto é, comparações entre alunos com desempenhos semelhantes no teste.

A elaboração de um item para um teste de uma avaliação em larga escala, como o PISA, deve levar em consideração vários aspectos, tais como, a idade e a escolarização do grupo ao qual o teste será aplicado. Além disso, o item deve ser objetivo e claro, não conter termos que favoreçam um grupo em detrimento de outro, bem como, não oferecer dicas que, facilmente, conduzam o aluno à resposta. Tradicionalmente, os itens são pré-testados e analisados estatisticamente. Portanto, em princípio, não se espera encontrar itens com DIF elevado. Mesmo assim, existindo poucos itens com DIF, a evidência estatística da diferença entre o desempenho de grupos não deve ser persuasiva quanto à decisão de excluir ou não esses itens do teste. Pois, além de interferirem pouco no resultado da proficiência, podem trazer informações adicionais relevantes para entender algumas possíveis diferenças pedagógicas e/ou características específicas dos grupos.

No âmbito da TRI, é possível dizer que um item não apresenta DIF quando a curva característica do item (CCI), representada na figura abaixo, é a mesma para os grupos comparados em um mesmo nível de habilidade ou proficiência medida através do item.

Abaixo, apresentamos a CCI correspondente ao item do exemplo anterior para Brasil e Portugal. A análise gráfica mostra que esse item apresentou DIF que favoreceu os alunos brasileiros, representados pela linha verde, pois para todas as faixas de proficiências, a probabilidade de acertar o item é maior para os alunos brasileiros.

De acordo com esse gráfico, alunos com proficiências iguais a 500, nos dois grupos, têm chances diferentes de acertarem o item. Enquanto os alunos brasileiros têm 70%, os portugueses têm pouco mais de 50%.

A operacionalização para se alcançar um dos objetivos propostos na pesquisa, que implica em explicar o que causa o DIF, foi realizada com base nas características dos itens, definidas pelo próprio PISA, como: Subárea da Matemática, Processo, Contexto e Tipo de Resposta. Adicionalmente, duas outras características, foram consideradas nas análises: Tamanho do Enunciado e Recurso Gráfico (enunciados apoiados em figura, gráfico ou tabela).

Vinte e três itens de Matemática apresentaram algum tipo de DIF. A Tabela 1, abaixo, mostra os itens com DIF, analisados sob o aspecto das subáreas da Matemática.

De acordo com a Tabela 1, alguns itens mostraram-se mais fáceis aos alunos brasileiros, enquanto outros são mais fáceis aos portugueses. Dos dez itens da subárea Quantidade, sete foram mais fáceis aos brasileiros. Com relação à Mudança e Relações, dos cinco itens que apresentaram DIF, quatro foram mais fáceis para alunos portugueses. Esses dados indicam, num primeiro momento, de forma bastante exploratória, que alunos brasileiros tendem a ter melhor desempenho do que alunos portugueses quando o conteúdo avaliado refere-se à Quantidade, se comparado com a subárea Mudança e Relações. Tal fato aponta um possível caminho, na tentativa de encontrar um padrão para explicar o DIF entre esses dois grupos. O êxito nesse empreendimento passa, necessariamente, por uma análise mais detalhada das características desses itens, o que é feito a seguir, com a análise de seus contextos.

A Tabela 2 apresenta os mesmos 23 itens que apresentaram DIF, agora analisados em função dos contextos aos quais os itens estão apoiados. Observa-se que quatro itens apoiados em contexto Científico tendem a apresentar DIF, beneficiando os alunos portugueses. Por outro lado, quando o item está apoiado em um contexto Pessoal, os itens que apresentam DIF tendem a beneficiar os estudantes brasileiros.

A Tabela 3 apresenta os itens classificados de acordo com as habilidades de reprodução, conexão ou reflexão. Lembrando que a primeira compreende os processos cognitivos requeridos para que o aluno demonstre as habilidades matemáticas que estão ligadas de maneira muito próxima ao que é usualmente entendido como conteúdo. A segunda envolve os processos cognitivos exigidos para que o aluno possa demonstrar habilidades relacionadas ao saber fazer, mesmo que de maneira incipiente. Já a terceira, abrange habilidades necessárias para a resolução de tarefas que precisam de um pensamento matemático mais amplo.

É curioso observar que, dos oito itens do grupo Reprodução que apresentaram DIF, seis mostraram-se mais fáceis aos estudantes portugueses. Estes itens exigem, basicamente, que o aluno saiba lidar com situações simples que envolvem as operações matemáticas. Os resultados da avaliação nacional têm evidenciado que mais de 60% dos alunos brasileiros ao término do ensino fundamental desenvolveram algumas habilidades elementares de interpretação, mas não conseguem transpor o que está sendo pedido no enunciado para uma linguagem matemática específica, estando, portanto, aquém do exigido para a série. Com base nesses diagnósticos, esperávamos que estes itens fossem mais fáceis aos alunos brasileiros.

Com relação ao grupo Conexão sete itens apresentaram DIF, dos quais cinco mostraram-se mais fáceis aos brasileiros. Estes itens exigem que o aluno saiba associar ideias e representações, baseadas em diferentes fontes de informação para resolver problemas.

A Tabela 4 apresenta a classificação dos itens de acordo com o critério Tamanho do enunciado. Como afirmamos anteriormente, esta caracterização adicional em relação aos itens foi pensada no sentido de laurear nossos esforços, na tentativa de explicar as diferenças encontradas.

Observa-se que quatro itens apresentam enunciados longos e, apesar disso, foram favoráveis aos alunos brasileiros, em comparação aos seus colegas portugueses de mesma habilidade cognitiva. Num primeiro momento, esse resultado pode causar certa estranheza, por contrariar diagnósticos educacionais brasileiros, que insistem em revelar que nossos alunos leem mal e demonstram dificuldades em compreender o que leem. No entanto, ao analisarmos detalhadamente esses itens, percebemos que o enunciado longo, na verdade, descreve instruções a serem seguidas, as quais vêm acompanhadas de exemplos ou ilustrações, indicando a tarefa a ser cumprida. Apenas um desses itens não apresenta diretamente os passos a ser seguidos, acompanhado de exemplos, mas, implicitamente, nele está a ideia dos procedimentos a seguir. Provavelmente, para os alunos brasileiros, esse tipo de enunciado seja mais inteligível, e as descrições dos passos a ser seguidos ajudem na concentração do que está sendo pedido, facilitando a resolução do problema.

A classificação dos vinte e três itens, segundo as características Tipo de Resposta e Recurso Gráfico, não apresentou diferenças significativas nessa fase exploratória, visando a um padrão para explicar o DIF. No entanto, analisando-se os itens mais cuidadosamente, é verificável que aqueles que requeriam a interpretação de diferentes tipos de gráficos foram favoráveis aos alunos portugueses.

Na sequência, sintetizamos, no Quadro 1, as características encontradas que passaram a ser consideradas hipóteses formuladas no intuito de explicar o DIF entre alunos brasileiros e portugueses.

As hipóteses descritas acima, formuladas para a explicação do DIF, carecem de uma confirmação mais rigorosa e formal. Assim, utilizamos uma estrutura de regressão que teve como co-variáveis independentes a indicação dos itens que trazem na sua forma e conteúdo as características referidas nas tabelas acima. Esse novo modelo da TRI, proposto por Soares, Genovez e Galvão (2005), é na verdade uma generalização do modelo logístico de três parâmetros, que incorpora a detecção de itens com DIF em sua estrutura.

A utilização desse modelo integrado tem como objetivos confirmar ou não as hipóteses levantadas, e verificar a concordância entre os itens detectados com DIF, através das abordagens tradicionais, e os detectados com DIF, pela abordagem integrada. Esse modelo foi utilizado neste estudo e os resultados corroboram as hipóteses formuladas que emergiram da análise exploratória.

7 Considerações finais

A estrutura metodológica, técnica e pedagógica de uma avaliação como o PISA são desenhadas no sentido de contar com itens que não apresentem DIF entre os diferentes grupos. No entanto, a existência de comportamento diferencial mostra-se bastante interessante, pois possibilita apontar diferenças de competência dos alunos de diversos países.

A análise descritiva das características dos itens de Matemática que apresentaram DIF entre os alunos brasileiros e portugueses revelou a existência de diferenças de habilidades cognitivas entre esses grupos, e apontou caminhos para identificar padrões que estariam causando o DIF. As características próprias de cada país exercem influência na organização do seu sistema educacional, na forma como os currículos são organizados e na ênfase com que se explora um determinado conteúdo em sala de aula. Além disso, sabemos que os desempenhos escolares dos alunos são influenciados por seus modos de pensar, seus valores culturais e sociais, bem como por características econômicas de suas famílias. A possibilidade de conhecer essas características por meio dos itens que favorecem determinados grupos, e perceber a existência de padrões que passam despercebidos aos olhos dos especialistas que os elaboram, é, sem dúvida, a grande contribuição que a análise do DIF trás para a avaliação educacional. Estudos dessa natureza evidenciam que uma boa comparabilidade das proficiências de diferentes grupos de alunos depende de que haja itens comuns aplicados a esses grupos que não apresentem DIF. Contudo, a quase impossível tarefa de se construírem instrumentos de avaliação sem DIF, para grupos muito diferentes, pode ser revertida a favor do avaliador. O DIF pode ajudar a conhecer as diferenças, e esse é o primeiro passo para as ações educacionais que visam a eliminá-las ou, ao menos, minimizá-las.

Endereço para correspondência:

Maria Isabel Ramalho Ortigão

Rua Benjamim Batista, nº 190, apto. 201, Jardim Botânico

CEP: 22.461-120. Rio de Janeiro, RJ, Brasil

E-mail: [e-mail]

Submetido em Novembro de 2010

Aprovado em Fevereiro de 2011

• AGUIAR, G. S. O Funcionamento Diferencial do Item (DIF) como estratégia para captar ênfases curriculares diferenciadas em Matemática. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas v. 21, n. 45, p. 169 - 189, jan./abr. 2010.
• ALVES, F.; ORTIGÃO, I.; FRANCO. C. Origem social e risco de repetência: interação entre raça-capital econômico. Cadernos de Pesquisa São Paulo: Fundação Carlos Chagas / Autores Associados, v. 37, n. 130, p. 161 - 180, jan/abr. 2007.
• ANYON, J. Social class and the hidden curriculum at work. Journal of Education, Boston, v. 162, n. 1, p. 67 - 92, 1980.
• BRASIL. Ministério da Educação. Parâmetros Curriculares Nacionais - Matemática / 5ª a 8ª séries. Brasília: MEC/SEEF, 1998.
• BRASIL (2001). PISA 2000 Relatório Nacional. Brasília, DF: INEP/MEC. Disponível em: <www.oecd.org/dataoecd/30/19/33683964.pdf> . Acesso em: 12 mar. 2012.
• CARNOY, M.; GOVE, A. K.; MARSHALL, J. H. Cuba's Academic Advantage Why students in Cuba do better in school. Board of Trustees of the Leland Stanford Junior University. Cidade: Editora. 2007.
• CARVALHO, J. B. P.; SZTAJN, P. As habilidades "básicas" em Matemática. Presença Pedagógica, Belo Horizonte, v. 3, n. 15, p. 15 - 21, 1997.
• CASASSUS, J. A escola e a Desigualdade 2. ed. Brasília: Liber Livro Editora. UNESCO, 2007.
• COLEMAN, J. S. Report on equality of education opportunity. Washington, DC: US Government Printing Office for Department of Health, Education and Welfare, 1966.
• FORQUIN, J. C. As abordagens Sociológicas do Currículo: orientações teóricas e perspectivas de pesquisa. Educação e Realidade, Porto Alegre, v. 21, n. 1, p. 187 - 198, 1995.
• FORQUIN, J. C. Saberes escolares, Imperativos didáticos e dinâmicas sociais. Teoria & Educação, Porto Alegre, n. 5, p .28 - 49, 1992.
• FRANCO, C. et al. Eficácia escolar em Brasil: Investigando prácticas y políticas escolares moderadoras de desigualdades educacionales. In: CUETO, S. (Org.) Educación y brechas de equidad em América Latina, Tomo I, Santiago, Chile: Fondo de Investigaciones Educativas / PREAL, 2007, p. 223 - 249.
• FRANCO, C.; SZTAJN, P. ; ORTIGÃO, M. I. R. Mathematics teachers, reform and equity: results from the Brazilian national assessment. Journal for Research in Mathematics Education, Reston, v. 38, n. 4, p. 393 - 419, July. 2007.
• LEE, V. E.; SMITH, J. B. Tamanho da Escola: qual é o mais efetivo e para quem? Estudos em Avaliação Educacional, São Paulo, n. 25, p. 77 - 121, jan./jun., 2002.
• NCTM/NATIONAL COUNCIL OF TEACHERS OF MATHEMATICS. Curriculum and evaluation standards for school mathematics Reston, VA: Author. 1989.
• OCDE. PISA 2003. Technical Report OCDE- Organization for Economic Co-Operation and Development, 2005. Disponível em: <http://www.oecd.org/document/13/0,3746, en_32252351_32236173_35188685_1_1_1_1,00.html> . Acesso em: 12 mar. 2012.
• OCDE. Aprendendo para o mundo de amanhã Primeiros resultados do PISA 2003, Brasil. São Paulo: Moderna, 2005a. Disponível em: <http://browse.oecdbookshop.org/oecd/pdfs/free/960412ue.pdf>. Acesso em: 12 mar. 2012.
• ORTIGÃO, M. I. R.; FRANCO, C.; CARVALHO, J. B. P. A distribuição social do currículo de matemática: quem tem acesso a tratamento da informação? Educação Matemática Pesquisa, São Paulo, v. 9. n. 2, p. 249 - 273, 2007.
• ORTIGÃO, M. I. R.; SZTAJN, P. Dilemas para a avaliação: o caso dos conjuntos no ensino da Matemática. In: FRANCO, C. (Org.). Avaliação, Ciclos e Promoção na Educação Porto Alegre: Artmed, 2001.p. 31 - 52.
• SOARES, J. F. Qualidade e equidade na educação básica brasileira: fatos e possibilidades. In: BROCK, C.; SCHWARTZMAN, S. Os desafios da educação no Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 91 - 118.
• SOARES, T. M.; GENOVEZ, S. F. M.; GALVÃO, A. F. Análise do Comportamento Diferencial dos Itens de Geografia: estudo da 4Ş série avaliada no Proeb/Simave 2001. Estudos em Avaliação Educacional, São Paulo, v. 16, n. 32, jul./dez., 2005.

1

As avaliações usam a denominação

proficiência quando a coleta de dados ocorre uma única vez, de forma seccional. Se a avaliação ocorre longitudinalmente, costuma-se usar a denominação

medida de aprendizagem. Essa diferenciação está associada à ideia de que a aprendizagem ocorre ao longo do tempo, não podendo, portanto, ser medida uma única vez.

Datas de Publicação

• Publicação nesta coleção
  28 Maio 2012
• Data do Fascículo
  Abr 2012

Histórico

• Recebido
  Nov 2010
• Aceito
  Fev 2011