Avaliando a leitura em inglês: uma reflexão sobre itens de testes

Avaliando a leitura em inglês: uma reflexão sobre itens de testes

Celso Henrique Soufen Tumolo^I; Lêda Maria Braga Tomitch^II

^IDoutor em Letras/Língua Inglesa e Lingüística Aplicada e pesquisador na área de leitura do Departamento de Língua e Literatura Estrangeiras da Universidade Federal de Santa Catarina, Universidade Federal de Santa Catarina - UFSC

^IIDoutora em Letras/Lingüística Aplicada. Professora e pesquisadora na área de leitura do Departamento de Língua e Literatura Estrangeiras da Universidade Federal de Santa Catarina, Universidade Federal de Santa Catarina - UFSC

RESUMO

O desenvolvimento de testes de qualquer natureza requer um estágio de investigação dos itens elaborados, investigação essa que deve ser feita considerando como critério principal a validade de construto. Neste artigo, trazemos uma análise de itens de testes desenvolvidos para avaliar a habilidade de leitura em inglês como língua estrangeira. Dividimos os itens em defensáveis e não defensáveis: os defensáveis permitem a demonstração da habilidade como definida no construto, enquanto os não defensáveis não permitem coletar evidências para uma interpretação válida da habilidade relevante. Sugerimos uma divisão dos itens não defensáveis em três categorias: itens independentes do texto, itens com pistas para a resposta e itens de vocabulário, cada qual apresentando problemas para validação de construto. É possível concluir que itens usados em testes podem não ser adequados ao objetivo para o qual foram desenvolvidos. As análises e conclusões aqui feitas pretendem colaborar com o desenvolvimento de testes que possibilitem coletar evidências para uma interpretação mais válida da habilidade de leitura em inglês.

Palavras-chave: leitura, testes, validade, língua estrangeira.

ABSTRACT

Test development of any nature requires a stage for the investigation of the items designed, which must be carried out considering construct validity as the main criterion. In this article we bring an analysis of test itens designed to assess the reading ability in English as a foreign language. We divide the items into defensible and non-defensible: defensible items allow for the demonstration of the reading ability as described in the construct, whereas non-defensible items do not allow for collecting evidence for a more valid interpretation of the relevant ability. We suggest a division of the non-defensible itens into 3 categories: text-independent items, items with unintended clues for the answer, and vocabulary items, each one presenting some problems for construct validation. It is possible to conclude that items used in tests may not be adequate for the purposes they were designed. The analyses and conclusions presented here aim at collaborating with the development of tests that allow for the collection of evidence for more valid interpretations of the ability of reading in English as a foreign language.

Keywords: reading, tests, validity, foreign language.

Texto completo do artigo disponível apenas em PDF.

Article full text available only in PDF format.

• ALDERSON, J. C., CLAPHAM, C.; WALL, D. Language test construction and evaluation Cambridge, UK: Cambridge University Press, 1995.
• BACHMAN, L.; PALMER, A. Language testing in practice Oxford, UK: Oxford University Press, 1996.
• CHAPELLE, C. Are C-tests valid measures for L2 vocabulary research? Second Language Research, v. 10, n. 2, p. 157-187, 1994.
• CHAPELLE, C. Validity in language assessment. Annual Review of Applied linguistics, v. 19, p. 254-272, 1999.
• CLAPHAM, C. The development of IELTS: A study of the effect of background knowledge on reading comprehension. Cambridge, UK: Cambridge University Press, 1996.
• Collins Cobuild English DictionaryGreat Britain: HarperCollins Publishers, 1995.
• GAGNÉ, E. D.; YEKOVICH, C. W.; YEKOVICH, F. R. The cognitive psychology of school learning. New York: Harper Collins College Publishers, 1993.
• HUTCHINS, J. Meaning: the frontier of informatics. Informatics 9 Proceedings of a conference jointly sponsored by Aslib, the Aslibi Informatics Group, and the Information Retrieval Specialist Group of the British Computer Society, King's College Cambridge, p. 151-173, 1987.
• KANE, M. T. An argument-based approach to validity. Psychological Bulletin, v. 112, n. 3, p. 527-535, 1992.
• KINTSCH, W.; VAN DIJK, T. A. Toward a model of text comprehension and production. Psychology Review, v. 85, n. 5, p. 363-394, 1978.
• MESSICK, S. Validity. In: LINN, R. L. (Ed.). Educational measurement Washington, DC: The American Council on Education and the National Council on Measurement in Education, 1989.
• NUTTALL, C. Teaching reading skills in a foreign language (new edition). Oxford, UK: Macmillan Education, 1996.
• Pearson, P. D.; Johnson, D. D. Teaching reading comprehension New York: Holt, Rinehart and Winston, 1978.
• PIERCE, B. N. Demystifying the TOEFL reading test. TESOL Quarterly, v. 26, n. 4, p. 665-689, 1992.
• POPHAM, W. J. Modern educational measurement Englewood Cliffs, NJ: Prentice Hall, 1981.
• TOMITCH, L. M. B. Designing reading tasks to foster critical thinking. Revista Ilha do Desterro, n. 38, p. 83-90, 2000.
• TOMITCH, L. M. B. Por que o aprendiz de leitura em língua estrangeira precisa de professor? O papel do professor no ensino de leitura em LE. In: COSTA, M. J. D.; ZANATTA, M. E.; ZISPER, M. E.; MENDES, A. Línguas: ensino e ações. Florianópolis, SC: NUSPPLE, 2002.
• TOMITCH, L. M. B. Reading: text organization perception and working memory capacity. Florianópolis, SC: PGI/UFSC, 2003. (Livro da série ARES - Advanced Research in English Series)
• TUMOLO, C. H. S. Vocabulary Instruction: the text as a source in the classroom. Dissertação (Mestrado em Letras/Inglês) - CCE - UFSC, Florianópolis, SC, 1999.
• TUMOLO, C. H. S. Assessment of reading in English as a foreign language: investigating the defensibility of test items. Tese (Doutorado em Letras/Inglês) - CCE - UFSC, Florianópolis, SC, 2005.
• TUMOLO, C. H. S. Especificações e pré-testagem: etapas essenciais na elaboração de testes de leitura em língua estrangeira. In: TOMITCH, L. M. (Org.). Aspectos cognitivos e instrucionais da leitura em língua estrangeira No prelo a.
• TUMOLO, C. H. S. Vocabulary and reading: teaching procedures in the ESP classroom. Revista Linguagem & Ensino No prelo b.
• VAN DIJK, T. A.; KINTSCH, W. Strategies of discourse comprehension New York: Academic Press, 1983.
• VIANNA, H. M. Questões de avaliação educacional. In: FREITAS, L. C. (Org.). Avaliação: construindo o campo e a crítica. Florianópolis, SC: Editora Insular, 2002.
• WEIR, C., HUIZHONG, Y.; YAN, J. An empirical investigation of the componentiality of L2 reading in English for academic purposes Cambridge, UK: Cambridge University Press, 2000.
• WEIR, C.; MILANOVIC, M. Continuity and innovation: Revising the Cambridge Proficiency Examination 1913-2002. Cambridge, UK: Cambridge University Press, 2003.

Datas de Publicação

• Publicação nesta coleção
  22 Abr 2013
• Data do Fascículo
  2007