A questão da validade na avaliação educacional brasileira

O objetivo do presente estudo foi analisar como o atual conceito e as fontes de evidências de validade são utilizados no âmbito da avaliação educacional em larga escala no Brasil. Para tanto, foi realizada uma análise documental, por meio dos relatórios oficiais das maiores avaliações educacionais nacionais aplicadas no país. Os resultados obtidos indicaram que não são apresentadas fontes de evidências de validade suficientes para que se julgue que os testes educacionais analisados sejam válidos para o que se propõem. Ainda é necessário desenvolver o conhecimento técnico dos pesquisadores brasileiros que realizam estudos de validação de testes educacionais, especialmente no âmbito das informações que devem ser levantadas e apresentadas a fim de que se possam utilizar com confiança os resultados obtidos nas provas e nos testes educacionais aplicados no país.

Validade; Avaliação Educacional; Padrões para Testagem

Versão	Visão de validade	Estudo da validade
1. APA (1954)AMERICAN PSYCHOLOGICAL ASSOCIATION – APA. Technical recommendations for psychological tests and diagnostic techniques. Psychological Bulletin, Washington, DC, v. 51, n. 2 pt. 2, p. 461-475, 1954. https://doi.org/10.1037/h0053479 https://doi.org/10.1037/h0053479...	Conceituação fragmentada	Quatro tipos de validade: 1.Conteúdo 2.Preditiva 3.Concorrente 4.Construto
2. APA (1966)AMERICAN PSYCHOLOGICAL ASSOCIATION – APA. Standards for educational and psychological tests and manuals. Washington, DC: American Psychological Association, 1966. 3. APA; AERA; NCME, (1974)	Conceituação fragmentada	Três tipos de validade: Conteúdo 2.Relacionada ao critério 3.Construto Substituiu o termo “tipos” para “aspectos” da validade; e validade preditiva e concorrente foram combinadas e chamadas de validade relacionada ao critério.
4. AERA; APA; NCME (1985)	Afastou-se da visão fragmentada e afirmou que validade é um conceito unitário e está relacionada à adequação, significado e utilização das inferências feitas a partir dos resultados de um teste.	Três categorias de validade: 1.Validade de conteúdo 2.Validade de critério 3.Validade de construto
5. AERA; APA; NCME (1999) 6. AERA; APA; NCME (2014)	Adota a visão da validade como um conceito unitário e que a interpretação do escore e o uso do teste são inseparáveis.	Cinco fontes de evidências de validade: 1.Evidências baseadas no conteúdo 2.Evidências baseadas nas relações com variáveis externas 3.Evidências baseadas na estrutura interna 4.Evidências baseadas no processo de resposta 5.Evidências baseadas nas consequências da testagem A partir da versão de 1999, não se trata mais de “tipos” de validade, mas de evidências de validade.

Fonte	Tipos de Dados Coletados
Evidências com base no conteúdo	Acerca da representatividade da matriz e dos itens da medida, investigando se esses consistem em amostras representativas do domínio que se pretende avaliar.
Evidências com base no processo de resposta	Acerca dos processos mentais envolvidos na realização das tarefas propostas pela matriz ou pela teoria.
Evidências com base na estrutura interna	Acerca da representação do construto, com base nas dimensões avaliadas, na qualidade dos itens e na confirmação de hipóteses derivadas da teoria.
Evidências com base nas relações com variáveis externas	Acerca dos padrões de correlação entre os escores da medida e de outras variáveis que medem o mesmo construto ou construtos relacionados (convergência) e variáveis que medem construtos diferentes (divergência). Levantar também dados sobre a capacidade preditiva da medida com relação a outros fatos de interesse direto (critérios externos) que têm importância por si só e associam-se ao propósito direto do uso da medida.
Evidências com base nas consequências da testagem	Acerca das consequências sociais intencionais e não intencionais do uso da medida, com o fim de verificar se sua utilização está surtindo os efeitos desejados na sociedade, de acordo com o propósito para o qual foi criada.

Fonte	Relatório
Fonte	Prova Brasil (a)	Pedagógico: Enem (b)	Síntese de Área: Enade (c)*
Evidências com base no conteúdo	Parcialmente. O relatório apresenta as matrizes de referência para as diferentes séries, entre os anos de 2005 e 2015. Mas não descreve os procedimentos adotados para garantir a representatividade das matrizes nos testes aplicados. Ou seja, o documento não explicita as especificações dos testes. Por exemplo, não são apresentadas informações quanto a características básicas, como demanda cognitiva, dificuldade e número de itens por tópico da matriz.	Não. Embora o relatório apresente alguns itens como exemplo e os relacione à matriz, isso não é feito para a prova como um todo. No relatório, faz-se referência ao Mapa de Itens do Enem, que estaria disponibilizado no site, mas o link está desatualizado e, na época dessa pesquisa, encontrava-se fora do ar.	Não. A matriz de referência é apenas apresentada, mas não é feita qualquer relação dessa com os itens da prova. Mesmo na seção dedicada à análise de conteúdo das questões discursivas, em nenhum momento a matriz é retomada. Os itens são analisados independentemente da matriz.
Evidências com base no processo de resposta	Não. Nenhum estudo sobre o processo de resposta é relatado.	Não. Nenhum estudo sobre o processo de resposta é relatado.	Não. Nenhum estudo sobre o processo de resposta é relatado.
Evidências com base na estrutura interna	Parcialmente. São apresentadas apenas análises dos itens, não é apresentada análise da prova como um todo. Não são relatadas análises de dimensionalidade e de fidedignidade das provas.	Parcialmente. São apresentadas apenas análises dos itens, não é apresentada análise da prova como um todo. Não são relatadas análises de dimensionalidade e de fidedignidade das provas.	Parcialmente. São apresentadas apenas análises dos itens, não é apresentada análise da prova como um todo. Não são relatadas análises de dimensionalidade e de fidedignidade das provas.
Evidências com base nas relações com variáveis externas	Não. Nenhum estudo de fatores associados é relatado.	Não. Nenhum estudo que relacione os escores das provas com variáveis externas é relatado.	Não. Nenhum estudo que relacione os escores das provas com variáveis externas é relatado.
Evidências com base nas consequências da testagem	Não. Não é feita referência às consequências e usos possíveis da medida.	Não. Não é feita referência às consequências e usos possíveis da medida.	Não. Mesmo na seção referente à distribuição dos conceitos, não é feita referência aos usos possíveis da medida.

Propósito do teste (uso indevido*)	Fontes de evidências de validade
Propósito do teste (uso indevido*)	Conteúdo	Estrutura interna	Relação com variáveis externas	Processo de resposta	Consequências da testagem
Avaliar a proficiência em matemática dos estudantes tendo como referência a matriz curricular	x			x
Determinar a proficiência em matemática dos alunos em três níveis: básico, proficiente ou avançado	x	x	x	x
Fornecer informações acerca da proficiência em matemática dos estudantes que podem ser usadas pelo Estado, pela escola, pelo professor e como prestação de contas.	x		x		x
Fornecer informações que podem ser usadas para melhorar o Ensino na sala de aula, na escola e no estado.	x	x		x	x
(Os professores ensinam para aprovar os estudantes no teste, ao invés de seguir a matriz curricular)				x	x
(Os estudantes abandonam a escola para não responder os testes)					x

Fundação CESGRANRIO Revista Ensaio, Rua Santa Alexandrina 1011, Rio Comprido, 20261-903 , Rio de Janeiro - RJ - Brasil, Tel.: + 55 21 2103 9600 - Rio de Janeiro - RJ - Brazil
E-mail: ensaio@cesgranrio.org.br

Acompanhe os números deste periódico no seu leitor de RSS

[1] Informações sobre os autores

Girlene Ribeiro de Jesus: Doutora em Psicologia pela Universidade de Brasília, na área de Fundamentos e Medidas. Professora da Faculdade de Educação, professora e Pesquisadora no Programa de Pós-Graduação em Educação da mesma universidade. Contato: girlene@unb.br

Renata Manuelly de Lima Rêgo: Doutora em Psicologia pela Universidade de Brasília. Coordenadora de Ensino, Pesquisa e Avaliação do Centro Brasileiro de Pesquisa em Avaliação e Seleção e de Promoção de Eventos. Contato: renatamanuelly@gmail.com

Victor Vasconcelos de Souza: Doutorando em Psicologia pela Universidade de Brasília. Contato: victor.vscn@gmail.com