Validação da nova versão do Test of Understanding Graphs in Kinematics (TUG-K) com estudantes de ensino médio

Cunha, R. F. F. da; Sasaki, D. G. G.

doi:10.1590/1806-9126-RBEF-2019-0149

R. F. F. da Cunha ^**de correspondência: ricardofagundes@cp2.g12.br.

Centro Federal de Educação Tecnológica Celso Suckow da Fonseca, Rio de Janeiro, RJ, Brasil

http://orcid.org/0000-0003-2502-7747

D. G. G. Sasaki

Centro Federal de Educação Tecnológica Celso Suckow da Fonseca, Rio de Janeiro, RJ, Brasil

http://orcid.org/0000-0002-0087-6809

^*de correspondência: ricardofagundes@cp2.g12.br.

Figuras (4)
Tabelas (11)

Thumbnail

Figura 1
O gráfico em azul representa o índice de dificuldade de cada item para os 127 estudantes de ensino médio na primeira aplicação (pré-teste). O gráfico verde, por sua vez, mostra o mesmo parâmetro, na segunda aplicação do teste. Já o gráfico em vermelho é o resultado publicado por Zavala. A reta horizontal fixada em P = 0,30 serve com uma linha de referência. Assim, os valores acima dessa linha são considerados desejáveis.

Thumbnail

Figura 2
Mantendo o padrão de cores dos dois gráficos anteriores, em azul e em verde tem-se o coeficiente de ponto bisserial obtido a partir das marcações dos estudantes na 1ª e na 2ª aplicação do teste, respectivamente. E, em vermelho, os resultados de Zavala. A linha de referência está fixada em r_bps = 0,20.

Thumbnail

Figura 3
O primeiro item do teste e, justamente aquele de menor percentual de acerto tanto na presente pesquisa quanto no artigo do Zavala.

Thumbnail

Figura 4
Item 20. O enunciado desse item pede quais gráficos representam um movimento cuja aceleração aumenta uniformemente. Na segunda aplicação, esse item apresentou o menor coeficiente bisserial de todo o teste.

Thumbnail

Quadro 1
Cada um dos 26 itens do TUG-K trabalha um desses 7 objetivos gerais expostos nesta tabela. Na versão mais recente do TUG-K são pelo menos tês itens por objetivo e, cada um tem uma abordagem específica, podendo expor diferentes dificuldades dos estudantes.

Thumbnail

Quadro 2
A tabela expõe de maneira mais detalhada a composição do teste, apresentando uma pequena descrição de cada item. Pode-se identificar também quais os itens que possuem o mesmo objetivo, ou seja, pertencentes ao mesmo grupo.

Thumbnail

Tabela 1
Os itens estão separados por grupos, cada um com seu objetivo. Todos os 26 itens apresentam 5 opções de respostas, da letra A a E, sendo apenas uma correta (em negrito) e quatro distratores. A coluna N (nulo) corresponde o percentual de alunos que optaram por não assinalar nenhuma das cinco opções em determinado item.

Thumbnail

Tabela 2
Percentual de acertos em cada grupo no pré-teste e no pós-teste.

Thumbnail

Tabela 3
Média (M), Variância (V) e Desvio Padrão (DP) de cada item na primeira etapa (pré-teste). Ao lado, estão apresentados esses parâmetros analisando o teste por inteiro, a Média Global (MG), Desvio Padrão da Média ou Erro Padrão da Média (DPM) e o valor z.

Thumbnail

Tabela 4
Média (M), Variância (V) e Desvio Padrão (DP) de cada item na segunda etapa (pós-teste). Ao lado, estão apresentados esses parâmetros analisando o teste por inteiro, a Média Global (MG), Desvio Padrão da Média ou Erro Padrão da Média (DPM) e o valor z.

Thumbnail

Quadro 3
Descrição dos quatro parâmetros estatísticos calculados após a aplicação do TUG-K. Os dois primeiros são calculados item por item, enquanto os dois últimos são parâmetros globais, envolvendo o teste inteiro.

Thumbnail

Tabela 5
Índice de dificuldade (P) e o coeficiente de ponto bisserial (r_pbs) de cada item na primeira aplicação do TUG-K no ensino médio.

Thumbnail

Tabela 6
Índice de dificuldade (P) e o coeficiente de ponto bisserial (r_pbs) de cada item na segunda aplicação do TUG-K no ensino médio.

Thumbnail

Tabela 7
Índice de dificuldade (P) e o coeficiente de ponto bisserial (r_pbs) de cada item obtido por Zavala, após a aplicação do TUG-K em 471 estudantes de um curso introdutório de fíica em uma universidade no México.

Thumbnail

Tabela 8
Resultados da estatística completa do teste, em ambas as etapas. Na última coluna, estão os valores medidos por Zavala.

Objetivos gerais do TUG-K
1. Dado o gráfico de posição em função do tempo, determinar a velocidade
2. Dado o gráfico de velocidade em função do tempo, determinar a aceleração
3. Dado o gráfico de velocidade em função do tempo, determinar o deslocamento
4. Dado o gráfico de aceleração em função do tempo, determinar a variação de velocidade
5. Dado um gráfico de cinemática, selecionar outro gráfico correspondente
6. Dado um gráfico de cinemática, ser capaz de descrever textualmente um movimento
7. Dada a descrição textual de um movimento, selecionar o gráfico correspondente

grupo	item	pequena descrição do item
	5	velocidade positiva em um instante
1	18	velocidade negativa em um instante
	13	velocidade mais negativa em um intervalo
	7	aceleração positiva em um instante
2	6	aceleração negativa em um instante
	2	aceleração mais negativa em um intervalo
	19	procedimento para calcular deslocamento em um intervalo
3	4	deslocamento em um intervalo
	23	maior deslocamento em um intervalo
4	10	procedimento para calcular variação de velocidade em um intervalo
	16	variação de velocidade em um intervalo
	1	maior variação de velocidade em um intervalo
	11	gráfico de velocidade oriundo de um gráfico de posição
5	14	gráfico de aceleração oriundo de um gráfico de velocidade
5	21	gráfico de posição oriundo de um gráfico de velocidade
	15	gráfico de velocidade oriundo de um gráfico de aceleração
	8	gráfico de posição: interpretação do movimento particular
	3	gráfico de posição: interpretação do movimento sob velocidade constante
6	24	gráfico de velocidade: interpretação do movimento com aceleração constante
	17	gráfico de velocidade: interpretação do movimento com posição crescendo uniformemente
	25	gráfico de aceleração: interpretação do movimento com velocidade crescendo uniformemente
	9	aceleração positiva e constante: identificar gráfico de posição
	12	velocidade constante: identificar gráficos de posição e velocidade
7	22	aceleração constante: identificar gráficos de velocidade e aceleração
	26	velocidade aumentando uniformemente: identificar gráficos de velocidade e aceleração
	20	aceleração crescendo uniformemente: identificar gráfico de aceleração

grupo	item			pré - teste						pós - teste
		A	B	C	D	E	N	A	B	C	D	E	N
	5	4	2	21	34	38	2	7	3	20	62	8	0
1	18	13	16	11	13	43	5	20	25	11	25	13	6
	13	37	39	2	17	5	0	52	24	4	16	3	2
	7	15	9	17	38	17	6	19	15	43	11	8	3
2	6	20	13	9	8	44	6	42	19	12	17	9	1
	2	1	23	43	2	28	2	1	20	35	1	43	0
3	19	19	28	20	23	6	6	3	54	14	22	7	0
	4	6	11	44	8	28	4	5	13	10	42	29	1
	23	1	13	24	29	31	2	3	20	18	28	29	2
4	10	26	24	20	13	11	6	57	14	5	3	21	1
	16	17	12	46	13	10	2	9	9	19	29	32	1
	1	1	20	3	17	55	3	7	16	2	11	63	2
	11	43	23	16	15	0	3	25	25	9	31	8	1
5	14	43	24	13	11	7	2	31	31	13	15	9	2
	21	9	16	35	9	28	2	11	26	19	10	31	3
	15	15	39	20	9	13	4	28	17	25	6	21	3
6	8	17	16	23	28	17	0	7	17	17	48	11	0
	3	26	0	24	19	31	0	21	0	38	29	12	0
	24	6	72	13	6	0	2	12	70	14	3	0	1
	17	15	17	2	63	2	2	43	13	3	39	2	1
	25	3	8	13	62	11	2	4	5	38	46	6	1
7	9	9	69	4	8	9	2	12	56	8	3	21	1
	12	6	11	29	38	16	0	3	31	26	25	16	0
	22	15	24	12	10	37	2	18	21	26	5	28	2
	26	6	11	5	55	21	2	5	31	4	49	10	1
	20	4	13	23	51	6	2	4	23	20	38	12	3

grupo	pré - test	pós - test
1	24	31
2	21	27
3	16	39
4	13	31
5	18	39
6	16	34
7	13	26

	1	2	3	4	5	6	7	8	9	10	11	12	13
M	0,01	0,28	0,19	0,08	0,21	0,13	0,15	0,28	0,09	0,26	0,14	0,12	0,37
V	0,01	0,20	0,15	0,07	0,17	0,11	0,13	0,20	0,09	0,19	0,12	0,10	0,23
DP	0,09	0,45	0,39	0,27	0,41	0,33	0,36	0,45	0,29	0,44	0,35	0,32	0,48	MG	4,31
	14	15	16	17	18	19	20	21	22	23	24	25	26	DP	0,33
M	0,24	0,15	0,12	0,15	0,13	0,28	0,23	0,16	0,12	0,13	0,06	0,13	0,11	Z	-2,62
V	0,19	0,13	0,10	0,13	0,11	0,20	0,18	0,13	0,10	0,12	0,06	0,12	0,10
DP	0,43	0,36	0,32	0,36	0,33	0,45	0,42	0,37	0,32	0,34	0,24	0,34	0,31

	1	2	3	4	5	6	7	8	9	10	11	12	13
M	0,07	0,43	0,29	0,42	0,20	0,19	0,19	0,48	0,21	0,57	0,31	0,31	0,52
V	0,06	0,25	0,20	0,24	0,16	0,15	0,16	0,25	0,17	0,25	0,22	0,21	0,25
DP	0,24	0,50	0,45	0,49	0,40	0,39	0,40	0,50	0,41	0,50	0,47	0,46	0,50	MG	7,98
	14	15	16	17	18	19	20	21	22	23	24	25	26	DP	0,45
M	0,31	0,28	0,29	0,43	0,20	0,54	0,20	0,26	0,26	0,20	0,12	0,38	0,31	Z	6,17
V	0,22	0,20	0,21	0,25	0,16	0,25	0,16	0,20	0,21	0,17	0,11	0,24	0,21
DP	0,47	0,45	0,45	0,50	0,40	0,50	0,40	0,44	0,45	0,41	0,33	0,49	0,46

Parâmetro	Significado	Valores limites	Valores desejados
Índice de dificuldade (P)	Percentual de acertos do item e, portanto, deve ser interpretado de maneira complementar ao seu valor, i.e. quanto maior, o percentual de acertos do item, maior será o valor de P e, consequentemente, menor será a dificuldade.	[0, 1]	[0.3, 0.9]
Coeficiente de ponto bisserial (r_bps)	Fiabilidade ou fidedignidade de um único item do teste, definido como o coeficiente de correlação entre os escores no item e as respectivas pontuações totais do teste, para todos os alunos. Um item com boa fiabilidade é um item que os alunos com maiores escores tenham um desempenho superior aos alunos com escores baixos. Um item deve ser retirado do teste se tiver esse coeficiente negativo.	[-1, 1]	≥ 0.2
Índice de confiabilidade Kuder – Richardson (KR – 20)	Trata-se da consistência interna total do teste. Quanto mais elevadas forem as correlações entre os itens, maior é a homogeneidade dos itens e maior é a consistência com que medem o constructo teórico. A consistência interna é o parâmetro mais relevante para assegurar a fiabilidade ou fidedignidade global do teste, isto é, se um instrumento de medida fornece sempre os mesmos resultados quando aplicado a alvos estruturalmente iguais.	[0, 1]	≥ 0.7
Delta de Ferguson (δ)	É a capacidade de discriminação do teste como um todo através da estimativa da amplitude da dispersão dos escores totais de todos os participantes.	[0, 1]	≥ 0.9

	1	2	3	4	5	6	7	8	9	10	11	12	13
P	0,01	0,28	0,19	0,08	0,21	0,13	0,15	0,28	0,09	0,26	0,15	0,11	0,37
rpbs	-0,03	0,56	0,46	0,12	0,50	0,49	0,47	0,60	0,43	0,23	0,51	0,55	0,58
	14	15	16	17	18	19	20	21	22	23	24	25	26
P	0,24	0,15	0,13	0,15	0,13	0,28	0,23	0,16	0,12	0,13	0,06	0,13	0,11
rpbs	0,49	0,29	0,22	0,65	0,36	0,29	0,07	0,26	0,54	0,32	0,30	0,51	0,47

	1	2	3	4	5	6	7	8	9	10	11	12	13
P	0,07	0,43	0,29	0,42	0,20	0,19	0,19	0,48	0,21	0,57	0,31	0,31	0,52
rpbs	0,45	0,39	0,58	0,44	0,47	0,43	0,44	0,59	0,51	0,22	0,48	0,50	0,52
	14	15	16	17	18	19	20	21	22	23	24	25	26
P	0,31	0,28	0,29	0,43	0,20	0,54	0,20	0,26	0,26	0,20	0,12	0,38	0,31
rpbs	0,39	0,34	0,30	0,53	0,25	0,41	0,11	0,25	0,48	0,48	0,48	0,56	0,53

	1	2	3	4	5	6	7	8	9	10	11	12	13
P	0,11	0,62	0,58	0,39	0,39	0,46	0,40	0,51	0,46	0,55	0,45	0,48	0,51
rpbs	0,47	0,42	0,51	0,48	0,43	0,46	0,42	0,58	0,57	0,40	0,51	0,63	0,60
	14	15	16	17	18	19	20	21	22	23	24	25	26
P	0,54	0,46	0,33	0,70	0,41	0,67	0,52	0,50	0,48	0,33	0,32	0,54	0,51
rpbs	0,55	0,50	0,42	0,59	0,43	0,45	0,32	0,44	0,58	0,43	0,60	0,61	0,65

Parâmetro	CPII	Zavala
Média dos índices de dificuldade	0,17	0,47
Média dos coeficientes bisseriais	0,39	0,50
KR - 20	0,79	0,88
Delta de Ferguson	0,93	0,99

[1] ^*de correspondência: ricardofagundes@cp2.g12.br.

Brasil

Brasil

Validação da nova versão do Test of Understanding Graphs in Kinematics (TUG-K) com estudantes de ensino médio

Evaluating the validity of the new version of Test of Understanding Graphs in Kinematics (TUG-K) with high school students

Resumo

grupo	item			pré - teste						pós - teste
		A	B	C	D	E	N	A	B	C	D	E	N
	5	4	2	21	34	38	2	7	3	20	62	8	0
1	18	13	16	11	13	43	5	20	25	11	25	13	6
	13	37	39	2	17	5	0	52	24	4	16	3	2
	7	15	9	17	38	17	6	19	15	43	11	8	3
2	6	20	13	9	8	44	6	42	19	12	17	9	1
	2	1	23	43	2	28	2	1	20	35	1	43	0
3	19	19	28	20	23	6	6	3	54	14	22	7	0
	4	6	11	44	8	28	4	5	13	10	42	29	1
	23	1	13	24	29	31	2	3	20	18	28	29	2
4	10	26	24	20	13	11	6	57	14	5	3	21	1
	16	17	12	46	13	10	2	9	9	19	29	32	1
	1	1	20	3	17	55	3	7	16	2	11	63	2
	11	43	23	16	15	0	3	25	25	9	31	8	1
5	14	43	24	13	11	7	2	31	31	13	15	9	2
	21	9	16	35	9	28	2	11	26	19	10	31	3
	15	15	39	20	9	13	4	28	17	25	6	21	3
6	8	17	16	23	28	17	0	7	17	17	48	11	0
	3	26	0	24	19	31	0	21	0	38	29	12	0
	24	6	72	13	6	0	2	12	70	14	3	0	1
	17	15	17	2	63	2	2	43	13	3	39	2	1
	25	3	8	13	62	11	2	4	5	38	46	6	1
7	9	9	69	4	8	9	2	12	56	8	3	21	1
	12	6	11	29	38	16	0	3	31	26	25	16	0
	22	15	24	12	10	37	2	18	21	26	5	28	2
	26	6	11	5	55	21	2	5	31	4	49	10	1
	20	4	13	23	51	6	2	4	23	20	38	12	3

grupo	item			pré - teste						pós - teste
		A	B	C	D	E	N	A	B	C	D	E	N
	5	4	2	21	34	38	2	7	3	20	62	8	0
1	18	13	16	11	13	43	5	20	25	11	25	13	6
	13	37	39	2	17	5	0	52	24	4	16	3	2
	7	15	9	17	38	17	6	19	15	43	11	8	3
2	6	20	13	9	8	44	6	42	19	12	17	9	1
	2	1	23	43	2	28	2	1	20	35	1	43	0
3	19	19	28	20	23	6	6	3	54	14	22	7	0
	4	6	11	44	8	28	4	5	13	10	42	29	1
	23	1	13	24	29	31	2	3	20	18	28	29	2
4	10	26	24	20	13	11	6	57	14	5	3	21	1
	16	17	12	46	13	10	2	9	9	19	29	32	1
	1	1	20	3	17	55	3	7	16	2	11	63	2
	11	43	23	16	15	0	3	25	25	9	31	8	1
5	14	43	24	13	11	7	2	31	31	13	15	9	2
	21	9	16	35	9	28	2	11	26	19	10	31	3
	15	15	39	20	9	13	4	28	17	25	6	21	3
6	8	17	16	23	28	17	0	7	17	17	48	11	0
	3	26	0	24	19	31	0	21	0	38	29	12	0
	24	6	72	13	6	0	2	12	70	14	3	0	1
	17	15	17	2	63	2	2	43	13	3	39	2	1
	25	3	8	13	62	11	2	4	5	38	46	6	1
7	9	9	69	4	8	9	2	12	56	8	3	21	1
	12	6	11	29	38	16	0	3	31	26	25	16	0
	22	15	24	12	10	37	2	18	21	26	5	28	2
	26	6	11	5	55	21	2	5	31	4	49	10	1
	20	4	13	23	51	6	2	4	23	20	38	12	3

grupo	item			pré - teste						pós - teste
		A	B	C	D	E	N	A	B	C	D	E	N
	5	4	2	21	34	38	2	7	3	20	62	8	0
1	18	13	16	11	13	43	5	20	25	11	25	13	6
	13	37	39	2	17	5	0	52	24	4	16	3	2
	7	15	9	17	38	17	6	19	15	43	11	8	3
2	6	20	13	9	8	44	6	42	19	12	17	9	1
	2	1	23	43	2	28	2	1	20	35	1	43	0
3	19	19	28	20	23	6	6	3	54	14	22	7	0
	4	6	11	44	8	28	4	5	13	10	42	29	1
	23	1	13	24	29	31	2	3	20	18	28	29	2
4	10	26	24	20	13	11	6	57	14	5	3	21	1
	16	17	12	46	13	10	2	9	9	19	29	32	1
	1	1	20	3	17	55	3	7	16	2	11	63	2
	11	43	23	16	15	0	3	25	25	9	31	8	1
5	14	43	24	13	11	7	2	31	31	13	15	9	2
	21	9	16	35	9	28	2	11	26	19	10	31	3
	15	15	39	20	9	13	4	28	17	25	6	21	3
6	8	17	16	23	28	17	0	7	17	17	48	11	0
	3	26	0	24	19	31	0	21	0	38	29	12	0
	24	6	72	13	6	0	2	12	70	14	3	0	1
	17	15	17	2	63	2	2	43	13	3	39	2	1
	25	3	8	13	62	11	2	4	5	38	46	6	1
7	9	9	69	4	8	9	2	12	56	8	3	21	1
	12	6	11	29	38	16	0	3	31	26	25	16	0
	22	15	24	12	10	37	2	18	21	26	5	28	2
	26	6	11	5	55	21	2	5	31	4	49	10	1
	20	4	13	23	51	6	2	4	23	20	38	12	3