Análise da Invariância Bifatorial do Inventário de Concepções de Avaliação de Estudantes

Matos, Daniel Abud Seabra; Brown, Gavin Thomas Lumsden; Gomes, Cristiano Mauro Assis

doi:10.1590/1413-82712019240411

Daniel Abud Seabra Matos

Universidade Federal de Ouro Preto, Ouro Preto, MG

https://orcid.org/0000-0001-7955-4302

Gavin Thomas Lumsden Brown

The University of Auckland, Auckland, New Zealand

https://orcid.org/0000-0002-8352-2351

Cristiano Mauro Assis Gomes

Universidade Federal de Minas Gerais, Belo Horizonte, MG

https://orcid.org/0000-0003-3939-5807

Contact: Departamento de Educação - Instituto de Ciências Humanas e Sociais/ICHS - UFOP. Rua do Seminário, s/n. Centro. Mariana-MG, Brasil CEP: 35420-000

Daniel Abud Seabra Matos holds a degree in Psychology and a Master’s degree in Education from Universidade Federal de Minas Gerais, and a PhD in Education from UFMG, with a Sandwich period at the University of Florida. Postdoctoral at Universidade of Beira Interior, Portugal. Professor of the Department of Education and advisor in the Graduate Program of Education at Universidade Federal de Ouro Preto. Associate Editor of the Journal Estudos em Avaliação Educacional. ORCID: https://orcid.org/0000-0001-7955-4302 E-mail: danielmatos@ufop.edu.br

Gavin Thomas Lumsden Brown obtained his Ph.D. in Education at the University of Auckland (UoA), New Zealand. Associate Dean Postgraduate (Research) and Director of the Quantitative Data Analysis and Research Unit in the Faculty of Education and Social Work at UoA. Affiliated Professor, Umea University, Sweden. Honorary Professor, Education University of Hong Kong. Chief Section Editor: Frontiers in Education: Assessment, Testing, and Applied Measurement. ORCID: http://orcid.org/0000-0002-8352-2351 E-mail: gt.brown@auckland.ac.nz

Cristiano Mauro Assis Gomes is a coordinator of the Cognitive Architecture Research Laboratory (LAICO) at UFMG. Works mainly on the themes: architecture and cognitive development, construction and validation of psychological and educational measuring instruments, cognitive intervention and development, machine learning and psychometrics. Associate Researcher of the National Science Network for Education (CpE). CNPq Research Fellow, level 2, triennium 2014-2016, and triennium 2017-2019. ORCID: https://orcid.org/0000-0003-3939-5807 E-mail: cristianomaurogomes@gmail.com

	Jurisdiction
Demographic Characteristic	Brazil	New Zealand
Sex
Female	495	212
Male	204	101
Missing	3
Age M (SD)	24.49 (5.42)	20.80 (4.58)
Current semester of study	70.6% 3rd or less	58.2% 3rd or less
Type of Higher Education Institution
Public	297	313
Private	405
Total sample	702	313

Model		Brazil								New Zealand
	k	χ²	df	RMSEA	CI lo 90%	CI hi 90%	CFI	WRMR	gamma hat	χ²	df	RMSEA	CI lo 90%	CI hi 90%	CFI	WRMR	gamma hat
Model 1: 8 correlated 1st-order factors
	32	2043.94	436	0.072	0.069	0.076	0.92	1.67	0.88	1072.19	436	0.068	0.063	0.074	0.92	1.27	0.89
Model 2: Hierarchical Model #1
	32	2167.64	450	0.074	0.071	0.077	0.91	1.79	0.87	1166.10	450	0.071	0.066	0.076	0.91	1.39	0.88
Model 3. Hierarchical Model #2
	32	2193.10	452	0.074	0.071	0.077	0.91	1.83	0.87	1150.35	452	0.070	0.065	0.075	0.91	1.40	0.88
Model 4: Bifactor #1 plus 4 broad Factors
	32	1885.90	432	0.069	0.066	0.072	0.93	1.58	0.89	1400.46	432	0.085	0.080	0.090	0.88	1.53	0.84
Model 5. Bifactor #2 plus 8 specific factors
	32	no convergence								no convergence
Model 6. Bifactor #3 plus 4 broad factors plus 8 specific factors
	32	no convergence								no convergence
Model 7. Bifactor #4 plus 5 specific factors plus one covariance
	32	1376.60	439	0.055	0.052	0.058	0.95	1.34	0.92	no convergence
Model 8: Bifactor #5 plus 3 factors plus three covariances
	32	1372.35	436	0.055	0.052	0.059	0.95	1.31	0.92	1118.70	436	0.071	0.066	0.076	0.91	1.32	0.88

Model	k	χ²	df	RMSEA	CI lo 90%	CI hi 90%	CFI	gamma hat	WRMR
Model 1: 8 correlated factors	64	3002.72	880	0.069	0.066	0.072	0.92	0.88	2.17
Model 2: Hierarchical Model #1	no convergence
Model 3: Hierarchical Model #2	64	3308.56	914	0.072	0.066	0.072	0.92	0.88	2.17	0.069	0.075	0.91	0.87	2.42
Model 4: Bifactor #1 plus 4 broad Factors	64	5107.87	920	0.095	0.092	0.097	0.85	0.79	3.09
Model 8: Bifactor #5	64	2503.85	876	0.061	0.058	0.063	0.94	0.91	1.90

	Unconstrained Configural Equivalence			Metric Equivalence Constrained			Fit Difference after Equivalence Constraint
Model	χ²	df	CFI	χ²	df	CFI	ΔCFI
Model 1: 8 correlated factors	3002.72	880	0.92	3641.38	904	0.90	>.01
Model 3: Hierarchical Model #2	3308.56	914	0.91	3706.25	942	0.90	.01
Model 4: Bifactor #1 plus 4 broad Factors	5107.87	920	0.85	5129.30	948	0.85	<.01
Model 8: Bifactor #5	2503.85	876	0.94	2504.01	932	0.94	<.01

Item	English	Portuguese
Irrelevance: Assessment is Bad
3	Assessment is unfair to students	A avaliação é injusta com os alunos
13	Assessment interferes with my learning	A avaliação interfere no meu aprendizado
18	Teachers are over-assessing	Os professores avaliam exageradamente
22	Assessment results are not very accurate	Os resultados da avaliação não são muito exatos
26	Assessment is value-less	A avaliação é sem valor
Irrelevance: Assessment is Irrelevant
7	I ignore assessment information	Eu ignoro as informações da avaliação
29	I ignore or throw away my assessment results	Eu desconsidero os meus resultados de avaliação
32	Assessment has little impact on my learning	A avaliação tem um impacto pequeno no meu aprendizado
Affect/Benefit: Assessment Helps Class Climate
2	Assessment encourages my class to work together and help each other	A avaliação encoraja a minha turma a trabalhar junta e a ajudar uns aos outros
12	Assessment motivates me and my classmates to help each other	A avaliação me motiva e aos meus colegas a ajudarem uns aos outros
17	Our class becomes more supportive when we are assessed	A nossa turma se dá mais apoio quando nós somos avaliados
21	When we do assessments, there is a good atmosphere in our class	Quando nós fazemos avaliações, existe um bom clima na nossa turma
25	Assessment makes our class cooperate more with each other	A avaliação faz a nossa turma cooperar mais uns com os outros
28	When we are assessed, our class becomes more motivated to learn	Quando nós somos avaliados, a nossa turma se torna mais motivada para aprender
Affect/Benefit: Assessment is Enjoyable
6	Assessment is an engaging and enjoyable experience for me	A avaliação é uma experiência envolvente e agradável para mim
31	I find myself really enjoying learning when I am assessed	Eu realmente aprecio o aprendizado quando eu sou avaliado
External: Assessment Predicts Student Future
4	Assessment results show how intelligent I am	Os resultados da avaliação mostram o quanto eu sou inteligente
16	Assessment results predict my future performance	Os resultados da avaliação predizem o meu desempenho futuro
20	Assessment is important for my future career or job	A avaliação é importante para a minha carreira futura ou emprego
External: Assessment Holds Schools Accountable
11	Assessment provides information on how well schools are doing	A avaliação fornece informação sobre como as escolas estão indo
24	Assessment measures the worth or quality of schools	A avaliação mede a qualidade das escolas
Improvement: Assessment Improves Student Learning
1	I pay attention to my assessment results in order to focus on what I could do better next time	Eu presto atenção nos meus resultados de avaliação para me concentrar no que eu posso melhorar da próxima vez
10	I make use of the feedback I get to improve my learning	Eu faço uso do feedback que recebo para melhorar meu aprendizado
14	I look at what I got wrong or did poorly on to guide what I should learn next	Eu observo o que eu fiz de errado ou de maneira insuficiente para guiar o que eu deveria aprender em seguida
15	I use assessments to take responsibility for my next learning steps	Eu uso as avaliações para assumir responsabilidade para as minhas próximas etapas de aprendizagem
19	I use assessments to identify what I need to study next	Eu uso as avaliações para identificar o que eu preciso estudar em seguida
Improvement: Assessment Improves Teaching
5	Assessment helps teachers track my progress	A avaliação ajuda os professores a acompanhar o meu progresso
8	Assessment is a way to determine how much I have learned from teaching	A avaliação é uma forma de determinar o quanto eu aprendi do ensino
9	Assessment is checking off my progress against achievement objectives or standards	A avaliação averigua o meu progresso em comparação com os objetivos de aprendizagem
23	My teachers use assessment to help me improve	Os meus professores usam a avaliação para me ajudar a melhorar
27	Teachers use my assessment results to see what they need to teach me next	Os professores usam os meus resultados da avaliação para ver o que eles precisam me ensinar em seguida
30	Assessment measures show whether I can analyse and think critically about a topic	A avaliação mostra se eu posso analisar e pensar criticamente sobre um assunto

[1] Contact: Departamento de Educação - Instituto de Ciências Humanas e Sociais/ICHS - UFOP. Rua do Seminário, s/n. Centro. Mariana-MG, Brasil CEP: 35420-000

Brasil

Brasil

Análise da Invariância Bifatorial do Inventário de Concepções de Avaliação de Estudantes

Resumo