Acessibilidade / Reportar erro

Versão Brasileira do Online Self-Regulated Learning Questionnaire (OSLQ): Evidências de Validade

Resumo

A autorregulação da aprendizagem refere-se à ação intencional, planejada, temporal, dinâmica e complexa. Instrumentos de avaliação da autorregulação válidos para o ensino tradicional não são adequados para ambientes on-line. Neste estudo, buscaram-se evidências de validade do Online Self-Regulated Learning Questionnaire (OSLQ), aplicado em amostra de 1.434 estudantes de um curso de Pedagogia on-line, sendo 95,12% mulheres e 4,88% homens, com idades entre 21 e 40 anos, de diversas regiões do Brasil. Foram realizadas AFC e AFE mediante Análises Paralelas. Os resultados indicaram ajuste moderado para o modelo hipotético de seis fatores. Foram extraídos dois fatores pela AFE, cujo modelo não foi confirmado. Aponta-se para a necessidade de realização de novos estudos utilizando o instrumento, visando a sua disponibilidade para uso em pesquisas.

Palavras-chave:
autorregulação da aprendizagem; ensino a distância; instrumento de avaliação; evidências de validade de medida

Abstract

Self-regulated learning refers to intentional, planned, temporal, dynamic, and complex action. Self-regulatory assessment instruments valid for traditional teaching are not suitable for online environments. This study examinates evidence for validation of the Online Self-Regulated Learning Questionnaire (OSLQ) applied to a sample of 1,434 students from an on-line Pedagogy course, 95.12% women and 4.88% men, ages from 21 to 40 years, from different regions of Brazil. AFE and AFC considering Parallel Analyzes. The results indicated a moderate adjustment for the hypothetical six-factor model. The extraction of two factors by AFE indicated that the model has not been confirmed. This result points to the need of further studies using the instrument, aiming at its availability to research.

KEYWORDS:
self-regulated learning; distance learning; evaluation tool; evidence of measure validity

O advento de tecnologias destinadas à informação e comunicação trouxe mudanças para a educação, destacando-se a oferta de educação a distância (EaD), um processo de ensino-aprendizagem on-line, que ocorre por meio do uso de diversos meios de comunicação social, com alunos dispersos e distantes entre si e separados também fisicamente do professor. Para Belloni (2009Belloni, M. L. (2009). Educação à Distância. 5. ed. Autores Associados.) e Valente (2005Valente, J. A. (2005). Pesquisa, comunicação e aprendizagem com o computador: o papel do computador no processo ensino-aprendizagem. Em BRASIL. Ministério da Educação. Integração das tecnologias na educação. Brasília: Ministério da Educação, SEED.), a EaD possibilita maior flexibilidade de acesso a cursos, currículos e metodologias inovadoras e, no cenário de qualificação profissional, representa oportunidade de atualização.

Para Barnard-Brak et al. (2008Barnard-Brak, L., Paton, V., & Lan, W. (2008). Online Self-Regulatory Learning Behaviors as a Mediator in the Relationship between Online Course Perceptions with Achievement. The International Review of Research in Open and Distributed Learning, 9(2), 1-7. https://doi.org/10.19173/irrodl.v9i2.516
https://doi.org/10.19173/irrodl.v9i2.516...
), uma das principais características da aprendizagem on-line é a experiência de autonomia do estudante. tendo em vista que, nesse ambiente, o ensino não se limita a um determinado local, horário e material físico. No entanto, para que a autonomia propiciada ao estudante no ambiente on-line seja usufruída de modo adequado, a autorregulação torna-se um fator crítico para o sucesso da aprendizagem. A autorregulação da aprendizagem é um tema que tem despertado o interesse de pesquisadores de diferentes abordagens da psicologia, sempre com o intuito de compreender e explicar esse importante construto da aprendizagem humana como, por exemplo, Bandura (2008Bandura, A. (2008). A Teoria Social Cognitiva na Perspectiva da Agência [The Social Cognitive Perspective in the Agentic Perspective] . In A. Bandura, R. G. Azzi & S. Polydoro (Orgs.), Teoria Social Cognitiva: Conceitos Básicos (pp.69-95). Artmed. ), Pintrich (2004Pintrich, P. R. (2004). A Conceptual Framework for Assessing Motivation and Self-Regulated Learning in College Students. Educational Psychology Review, 16(4), 385-407. https://doi.org/10.1007/s10648-004-0006-x
https://doi.org/10.1007/s10648-004-0006-...
), Schunk (2001Schunk, D. H. (2001). Self-Regulation Through Goal Setting. ERIC Digests, CG-01-08.) e Zimmerman e Schunk (2011Zimmerman, B. J., & Schunk, D. H. (2011). Self-Regulated and Performance: An Introduction and an Overview. In Zimmerman, B.; Schunk, D. H., Handbook of Self-Regulation of Learning Band Performance, pp. 1-12. Routledge: Taylor; Francis Group.). Apesar de alguns pontos de discordância entre os diversos autores, há um relativo consenso de que a autorregulação da aprendizagem se refere ao grau em que os estudantes ativam metacognitiva, motivacional e comportamentalmente seu próprio processo de aprendizagem (Simão & Frison, 2013Simão, A. M. V., & Frison, L. M. B. (2013). Autorregulação da Aprendizagem: Abordagens Teóricas e Desafios para as Práticas em Contextos Educativos [Self-Regulation Learning: Theoretical Approaches and Challenges for Practice in Educational Contexts]. Cadernos de Educação, 45, pp. 2-20. https://doi.org/10.15210/caduc.v0i45.3814
https://doi.org/10.15210/caduc.v0i45.381...
; Zimmerman & Schunk, 2011Zimmerman, B. J., & Schunk, D. H. (2011). Self-Regulated and Performance: An Introduction and an Overview. In Zimmerman, B.; Schunk, D. H., Handbook of Self-Regulation of Learning Band Performance, pp. 1-12. Routledge: Taylor; Francis Group.). A análise dos modelos propostos para explicar o processo de autorregulação permite inferir que a autorregulação da aprendizagem é uma ação intencional, planejada, temporal, dinâmica e complexa.

Zimmerman e Schunk (2011Zimmerman, B. J., & Schunk, D. H. (2011). Self-Regulated and Performance: An Introduction and an Overview. In Zimmerman, B.; Schunk, D. H., Handbook of Self-Regulation of Learning Band Performance, pp. 1-12. Routledge: Taylor; Francis Group.), ao considerarem que o ser humano tem a capacidade inata de se autorregular, definiram a autorregulação como o controle exercido pelo indivíduo sobre seus pensamentos, sentimentos e ações que são planejadas e ciclicamente adaptadas para a obtenção de metas e objetivos pessoais. Expressado de outra forma, a autorregulação é considerada um processo cíclico e multidimensional, inerente a todos os seres humanos, no qual o estudante desempenha um papel ativo, num processo diferenciado de acordo com as exigências de cada situação (Simão & Frison, 2013Simão, A. M. V., & Frison, L. M. B. (2013). Autorregulação da Aprendizagem: Abordagens Teóricas e Desafios para as Práticas em Contextos Educativos [Self-Regulation Learning: Theoretical Approaches and Challenges for Practice in Educational Contexts]. Cadernos de Educação, 45, pp. 2-20. https://doi.org/10.15210/caduc.v0i45.3814
https://doi.org/10.15210/caduc.v0i45.381...
).

No contexto atual, tem sido evidenciado um aumento no número de matrículas de alunos em cursos on-line (Broadbent & Poon, 2015Broadbent, J., & Poon, W. L. (2015). Self-Regulated Learning Strategies & Academic Achievement in Online Higher Education Learning Environments: A systematic review. Internet and Higher Education, 27, 1-13. https://doi.org/10.1016/j.iheduc.2015.04.007
https://doi.org/10.1016/j.iheduc.2015.04...
), assim como na quantidade de pesquisas voltadas para a aprendizagem autorregulada (Araka et. al, 2020Araka, E., Maina, E., Gitonga, R., & Oboko, R. (2020). Research Trends in Measurement and Intervention Tools for Self-Regulated Learning for E-Learning Environments-Systematic Review (2008-2018). Research and Practice in Technology Enhanced Learning, 15(6), 1-21. https://doi.org/10.1186/s41039-020-00129-5
https://doi.org/10.1186/s41039-020-00129...
). Com base em levantamento dos estudos realizados no período de 2004 a 2014 acerca do uso de estratégias de aprendizagem no ambiente on-line, Broadbent e Poon (2015Broadbent, J., & Poon, W. L. (2015). Self-Regulated Learning Strategies & Academic Achievement in Online Higher Education Learning Environments: A systematic review. Internet and Higher Education, 27, 1-13. https://doi.org/10.1016/j.iheduc.2015.04.007
https://doi.org/10.1016/j.iheduc.2015.04...
) destacaram as estratégias de gerenciamento de tempo, metacognição, regulação de esforço e pensamento crítico, que foram positivamente correlacionadas com resultados acadêmicos, embora esses efeitos tenham sido menores quando comparados com os encontrados no ensino tradicional. Em contraste, o ensaio, a elaboração e a organização tiveram o menor suporte empírico, indicando um menor uso dessas estratégias pelos alunos no ambiente on-line.

Araka et al. (2020Araka, E., Maina, E., Gitonga, R., & Oboko, R. (2020). Research Trends in Measurement and Intervention Tools for Self-Regulated Learning for E-Learning Environments-Systematic Review (2008-2018). Research and Practice in Technology Enhanced Learning, 15(6), 1-21. https://doi.org/10.1186/s41039-020-00129-5
https://doi.org/10.1186/s41039-020-00129...
), ao buscarem identificar avanços recentes e tendências na área, realizaram uma revisão sistemática (período de 2008 a 2018) a respeito das técnicas e ferramentas utilizadas para avaliar a autorregulação da aprendizagem em plataformas on-line. Os autores evidenciaram que os mesmos métodos tradicionais de avaliação usados no ambiente presencial têm sido utilizados para mensurar a aprendizagem autorregulada em ambientes on-line, apontando lacunas existentes em relação às ferramentas atualmente utilizadas para mensurar e apoiar a gestão da aprendizagem autorregulada. Barnard-Brak et al. (2008Barnard-Brak, L., Paton, V., & Lan, W. (2008). Online Self-Regulatory Learning Behaviors as a Mediator in the Relationship between Online Course Perceptions with Achievement. The International Review of Research in Open and Distributed Learning, 9(2), 1-7. https://doi.org/10.19173/irrodl.v9i2.516
https://doi.org/10.19173/irrodl.v9i2.516...
) também afirmaram que a maior parte dos pesquisadores da autorregulação estava convencida de que há um processo diferenciado e específico para cada contexto de aprendizagem, sendo necessária a condução de estudos que investigassem o construto da autorregulação, tanto no contexto presencial como em cursos ofertados on-line. Nessa perspectiva, instrumentos de investigação e avaliação da autorregulação válidos para meios de ensino tradicional, como o Motivated Strategies for Learning Questionnaire (MSLQ) - Questionário de Estratégias de Motivação para Aprendizagem, não seriam adequados para uso on-line em razão das grandes diferenças entre os dois ambientes de aprendizagem, presencial e a distância. Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
) argumentaram que as principais diferenças entre o ambiente de aprendizagem on-line e o presencial residem na flexibilidade do tempo e espaço, na interação social indireta, na amplitude de origens de informação World Wide Web (WWW) disponíveis nos momentos de estudo e na aquisição de interfaces dinâmicas da aprendizagem. Nesse sentido, espera-se que os estudantes façam uso de diferentes estratégias de aprendizagem de modo eficaz.

Mensuração da Aprendizagem Autorregulada em Ambientes de Ensino On-Line

O Online Self-Regulated Learning Questionnaire (OSLQ) - Questionário de Aprendizagem Autorregulada On-line - foi desenvolvido por Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
) para a avaliação de aprendizagem autorregulada de estudantes americanos em ambientes de aprendizagem on-line e tem sido o principal instrumento utilizados em pesquisas. O OSLQ compõe-se de 24 itens, categorizados em 6 dimensões da aprendizagem autorregulada: estabelecimento de metas (goals setting; GS), estruturação do ambiente (environment structuring; ES), estratégias para realização de tarAFEs (tasks strategies; TS), gerenciamento do tempo (time management; TM), procura por ajuda (help-seeking; HS) e autoavaliação (self-evaluation; SE).

Desde sua proposição, análises de validade, confiabilidade e consistência do instrumento têm sido realizadas. Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
) levantaram evidências de validade de medida de construto por meio de Análise Fatorial Confirmatória (AFC), em dois estudos realizados: um com 434 alunos de cursos em formato híbrido, ou seja, parte das aulas presenciais e parte on-line (E1), e outro com 204 alunos de cursos 100% on-line (E2). Para o E1, os resultados da AFC revelaram qui-quadrado significativo, indicando ajuste adequado dos dados ao modelo proposto, com um valor da razão χ2/gl de 3,08; RMSEA de 0,04; TLI 0,95; e CFI 0,96. Os resultados encontrados para o E2 foram: qui-quadrado significativo, com um valor da razão χ2/gl de 2,77; RMSEA como compensação para efeitos da complexidade do modelo foi de 0,06; TLI de 0,93 e CFI de 0,95, sendo indicativo de bom ajuste do modelo. Segundo os autores, os resultados indicaram evidências de validade do instrumento para avaliação do construto em alunos matriculados, tanto em modelos convencionais de ensino como em modelos baseados em Ambientes Virtuais de Aprendizagem (AVA). Os índices de consistência interna obtidos mediante alfa de Cronbach foram: GS 0,79; ES 0,53; TS 0,73; TM 0,72; HS 0,64; SE 0,59.

Barnard-Brak et al. (2010Barnard-Brak, L., Lan, W. Y., & Paton, V. O. (2010). Profiles in Self-Regulated Learning in the Online Learning Environment. International Review of Research in Open and Distance Learning, 11(1), 149-56. https://doi.org/10.19173/irrodl.v11i1.769
https://doi.org/10.19173/irrodl.v11i1.76...
) realizaram um estudo com 276 universitários americanos matriculados em cursos on-line. Pautaram-se nas análises do instrumento realizadas anteriormente por Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
), sendo indicados apenas os índices de consistência interna obtidos com a aplicação do alfa de Cronbach, para GS 0,92; ES 0,88; TS 0,85; TM 0,91; HS 0,92; SE 0,89.

Korkmaz e Kaya (2012Korkmaz, O., & Kaya, S. (2012). Adapting Online Self-Regulated Learning Scale into Turkish. Turkish Online Journal of Distance Education-TOJDE, 13(1), 1302-8.) também procuraram determinar os níveis de aprendizagem autorregulada de 222 alunos no ambiente on-line, adaptando o OSLQ para a língua turca. A análise fatorial confirmatória revelou qui-quadrado significativo, com valor da razão χ2/327,28; RMSEA= 0,045; S-RMR= 0,047; GFI= 0,89; AGFI= 0,85; CFI= 0,99; NNFI= 0,99; IFI= 0,99. Os indicadores revelaram bom ajuste do modelo de seis fatores, exceto os resultados para GFI e AGFI de ajuste aceitável. Adicionalmente, foram buscados os índices de consistência interna da escala, obtidos por meio do alfa de Cronbach: GS 0,92; ES 0,95; TS 0,87; TM 0,96; HS 0,93; SE 0,94.

Tabuenca et al. (2015Tabuenca, B., Kalz, M., Drachsler, H., & Specht, M. (2015). Time Will Tell: The Role of Mobile Learning Analytics in Self-Regulated Learning. Computers & Education, 89, 53-74. https://doi.org/1.1016/j.compedu.2015.08.004
https://doi.org/1.1016/j.compedu.2015.08...
) utilizaram o OSLQ como uma das medidas utilizadas em um estudo longitudinal envolvendo 89 estudantes de duas universidades da Holanda, matriculados em cursos on-line. Como indicador de validade do OSLQ, foi utilizado o coeficiente de confiabilidade, medido pelo alfa de Cronbach: GS 0,83; ES 0,78; TS 0,41; TM 0,76; HS 0,69; SE 0,50,

No Brasil, Rodrigues et al. (2016Rodrigues, R. L., Ramos, J. L. C., Silva, J. C., Gomes, A. S., & Fonseca, J. A. V. (2016). Validação de um Instrumento de Mensuração de Autorregulação da Aprendizagem em Contexto Brasileiro Usando Análise Fatorial Confirmatória [Validation of a self-Regulation Learning Measurement Instrument in the Brazilian Context Using Confirmatory Factor Analysis]. Novas Tecnologias na Educação, 14(1). https://doi.org/10.22456/1679-1916.67337
https://doi.org/10.22456/1679-1916.67337...
) investigaram evidências de validade do OSLQ para mensuração de características de autorregulação da aprendizagem, nos moldes da educação a distância no Brasil. Para tanto, realizaram uma pesquisa com 408 participantes de cursos on-line com idade média de 30 anos (DP=18,23). Os autores buscaram verificar o ajuste do modelo por meio de análise fatorial confirmatória: RMSEA (0,062), CFI (0,91) e NFI (0,89). Os resultados indicaram índices de ajuste abaixo dos obtidos em estudos anteriores utilizando a mesma escala, o que demonstrou a relevância de novos estudos de validação da escala que incluam outras amostras como, por exemplo, pesquisas em outros contextos.

Lin et al. (2017Lin, C-H., Zhang, Y., & Zheng, B. (2017). The Roles of Learning Strategies and Motivation in Online Language Learning: A Structural Equation Modeling Analysis. Computers & Education, 113, 75-85. https://doi.org/10.1016/j.compedu.2017.05.014
https://doi.org/10.1016/j.compedu.2017.0...
) conduziram uma pesquisa em uma escola virtual de idiomas na região Centro-Oeste dos Estados Unidos, com 466 estudantes do nível médio de escolarização. Utilizaram uma versão adaptada para o nível dos participantes incluindo quatro subescalas, com redução de duas dimensões (GS e TS) e do número de itens do OSLQ: ES quatro itens, TS quatro itens, HS três itens e SE três itens. Foram empregadas a análise fatorial exploratóriaDamasio, B. F. (2012). Uso da Análise Fatorial Exploratória em Psicologia [Uses of Exploratory Factorial Analysis in Psychology]. Avaliação Psicológica, 11(2), 213-228. , com a regra de eigenvalue maior que 1 pelo critério de Kaiser, e mapa de autovalores e índices de consistência da escala medidos pelo alfa de Cronbach. A solução de dois fatores com explicação da variância de 76%, foi considerada, no entanto, no segundo fator carregaram apenas dois itens.

Martinez-Lopez et al. (2017Martinez-Lopez, R., Yot, C., Tuovila, I., & Perera-Rodríguez, V. H. (2017). Online Self-Regulated Learning Questionnaire in a Russian MOOC. Computers in Human Behavior, 75, 966-74. https://doi.org/10.1016/j.chb.2017.06.015
https://doi.org/10.1016/j.chb.2017.06.01...
) descreveram o processo de tradução e adaptação do OSLQ para o Russo. Buscaram também evidências de validade do instrumento a partir dos dados de 45 estudantes de engenharia matriculados em um curso on-line, cujos resultados foram limitados pelo pequeno número de participantes. A Análise Fatorial ExploratóriaDamasio, B. F. (2012). Uso da Análise Fatorial Exploratória em Psicologia [Uses of Exploratory Factorial Analysis in Psychology]. Avaliação Psicológica, 11(2), 213-228. foi realizada a partir dos resultados do teste Kaiser-Meyer-Olkin (KMO) de 0,664 e do teste de esfericidade de Barlett (p ¼ 0,000). O critério do eigenvalue acima de 1 foi utilizado, com rotação Promax, revelando estrutura de 4 fatores, com 54,12% de explicação da variância. As cargas fatoriais dos itens para cada fator foram superiores a 0,40, com exceção dos itens 1 (0,122) e 22 (0322). Os índices de consistência interna (alfa de Cronbach) foram: GS 0,65; ES 0,83; TS 0,65; TM 0,77; HS 0,78; SE 0,71.

Kiliscec e Yıldırım (2018) buscaram a validade e confiabilidade de uma tradução do OSLQ para a língua turca. Os participantes foram 321 estudantes matriculados em curso on-line de uma universidade pública em Adana, na Turquia. Os valores de ajuste do modelo, resultado de Análise Fatorial Confirmatória para o modelo de 6 fatores, conforme a estrutura proposta por Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
), foram: χ2/gl (qui-quadrado/graus de liberdade)=2,45, RMSEA=0,06, RMR=0,08, SRMR=0,06, TLI (Tucker-Lewis Index)=0,89, CFI=0,90, GFI= 0,86, AGFI=.0,84 e NFI=0,80. Observa-se que os resultados para os indicadores de ajuste GFI, AGFI, CFI, TLI e NFI foram significativamente abaixo do aceitável, mas para os indicadores RMSEA, SRMR, e RMR os valores estiveram próximos do aceitável. O valor de consistência da escala total medido pelo valor de alfa foi 0,95.

Fung et al. (2018Fung, J. J., Yuen, M., & Yuen, A. H. (2018). Validity Evidence for a Chinese Version of the Online Self-Regulated Learning Questionnaire with Average Students and Mathematically Talented Students. Measurement and Evaluation in Counseling and Development, 51(2), 111-124. https://doi.org/10.1080/07481756.2017.1358056
https://doi.org/10.1080/07481756.2017.13...
) buscaram evidências de validade de uma versão do OSLQ para o Chinês aplicada para 412 estudantes do quarto ao nono anos do ensino elementar, com média de idade de 12 anos e que participaram de diversos cursos on-line ofertados pelas escolas de Hong Kong. A estrutura de 6 fatores foi avaliada por AFC, cujos resultados indicaram: χ2(224)=346.642, p < 0,000; CFI=0,977; TLI=0,971; RMSEA=0,036, indicado ajuste adequado dos dados ao modelo. Os índices de consistência interna medidos pelo alfa de Cronbach foram: GS 0,83; ES 0,83; TS 0,82; TM 0,85; HS 0,76; SE 0,85.

Handoko et al. (2019Handoko, E., Gronseth, S. L., McNeil, S. G., Bonk, C. J., & Robin, B. R. (2019). Goal setting and MOOC completion: A study on the role of self-regulated learning in student performance in massive open online courses. The International Review of Research in Open and Distance Learning, 20(3), 39-58. https://doi.org/10.19173/irrodl.v20i4.4270.
https://doi.org/10.19173/irrodl.v20i4.42...
) buscaram descobrir se havia diferença na autorregulação medida pelo OSLQ entre 643 estudantes que tinham ou não concluído seus cursos on-line, ofertados por uma universidade pública dos Estados Unidos. Apenas os índices de consistência interna dos itens (alfa de Cronbach) foram buscados, sendo: GS 0,75; ES 0,84; TS 0,65; TM 0,67; HS 0,78; SE 0,75.

Taghizade et al. (2020Taghizade, A., Azimi, E., & Mirzaee, R. (2020).Validity Evidence for a Persian Version of the Online Self-Regulated Learning Questionnaire. Interdisciplinary Journal of Virtual Learning in Medical Sciences, 11(1), 13-24. https://dx.doi.org/10.30476/ijvlms.2020.84802.1017
https://dx.doi.org/10.30476/ijvlms.2020....
) investigaram a validade e a confiabilidade de uma versão do OSLQ para a língua persa, no contexto iraniano. Estudantes (418) matriculados em cursos on-line de universidades no Teerã participaram da pesquisa. Os resultados de análise fatorial pela extração dos componentes principais confirmaram a estrutura de seis fatores, os quais explicaram 56,78 % da variância total dos dados. A análise fatorial confirmatória revelou ajuste dos dados ao modelo, conforme os resultados nos testes: χ2/gl =1.930<3, RMSEA=0,064, GFI=0,94, NFI=0,92, CFI=0,94. Os coeficientes de consistência pelo alfa de Cronbach variaram de 0,84 a 0,94 para cada subescala.

Vilkova e Shcheglova (2020Vilkova, K., & Shcheglova, I. (2020). Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms. Education and Information Technologies. https://doi.org/10.1007/s10639-020-10244-x
https://doi.org/10.1007/s10639-020-10244...
) levantaram a validade do OSLQ para uma amostra de 913 universitários russos matriculados em cursos on-line. Oito especialistas na área avaliaram os itens do instrumento e acordaram na exclusão de quatro itens, com a justificativa de serem vagos ou confusos para o contexto russo, além de discrepâncias lógicas. Os itens excluídos foram dois da dimensão GS (estabeleço metas que me auxiliam a gerenciar o tempo de estudo no curso a distância; TS: leio em voz alta os materiais de instrução postados on-line para lutar contra as distrações) e dois itens de SE (resumo minha aprendizagem para examinar meu entendimento sobre o que eu aprendi no curso a distância; faço a mim mesmo muitas perguntas sobre o material do curso a distância). A Análise Fatorial Confirmatória foi realizada para testar dois modelos, o primeiro considerando as seis dimensões incluídas no modelo original (Barnard-Brak et al., 2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
) e o segundo com cinco, excluindo a dimensão HS, porque, segundo argumentos dos autores, não seria compatível com a situação de aprendizagem on-line. Os resultados de ajuste dos dados para o primeiro modelo foram: χ2/gl (164)=1.200,68, p=0,00; RMSEA=0,08, CFI=0,88 e TLI=0,86. Para o segundo modelo de cinco dimensões, os índices de ajuste foram: χ2/gl (99)=513,09, p=0,00; RMSEA=0,07; CFI=0,94; e TLI=0,93.

Vilkova e Shcheglova (2020Vilkova, K., & Shcheglova, I. (2020). Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms. Education and Information Technologies. https://doi.org/10.1007/s10639-020-10244-x
https://doi.org/10.1007/s10639-020-10244...
) reiteraram a importância de investigações acerca da aprendizagem autorregulada em ambientes totalmente on-line e afirmaram que o OSLQ tem sido o instrumento utilizado. No entanto, as dimensões que estruturam a aprendizagem autorregulada não estão presentes nesse contexto, havendo um descompasso entre a realidade do ambiente virtual e as habilidades de aprendizagem avaliadas pelo questionário. Por exemplo, Baker et al. (2018Baker, R., Dee, T., Evans, B., & John, J. (2018). Bias in Online Classes: Evidence from a Field Experiment. CEPA Working Paper No. 18-03. Stanford Center for Education Policy Analysis.) descobriram que apenas 7% dos estudantes participantes de sua pesquisa receberam feedback de seus instrutores no ambiente on-line. O nível e qualidade da participação dos estudantes nas plataformas foi baixa, com 90% de atividades de revisões acerca da mesma informação apresentada (Breslow et al., 2013Breslow, L., Pritchard, D. E., DeBoer, J., Stump, G. S., Ho, A. D., & Seaton, D. T. (2013). Studying Learning in the Worldwide Classroom Research into edX's First MOOC. Research & Practice in Assessment, 8, 13-25.); 94% dos estudantes não participaram de discussões on-line (Qiu et al., 2016Qiu, J., Tang, J., Liu, T. X., Gong, J., Zhang, C., Zhang, Q., & Xue, Y. (2016). Modeling and Predicting Learning Behavior in MOOCs. In Proceedings of the Ninth ACM International Conference on Web Search and Data Mining (pp. 93-102). ACM.) e somente a interação dos estudantes com o conteúdo foi enfatizada, a despeito da importância da relação com os instrutores. A respeito da validade do OSLQ, Vilkova e Shcheglova (2020Vilkova, K., & Shcheglova, I. (2020). Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms. Education and Information Technologies. https://doi.org/10.1007/s10639-020-10244-x
https://doi.org/10.1007/s10639-020-10244...
) enfatizam a necessidade de estudos com amostras de no mínimo 540 participantes, dadas as dimensões avaliadas pelo instrumento e por não haver apoio na literatura para a validade de construto e de critério do instrumento.

Os estudos de validade do OSLQ, em sua maioria, empregaram AFC e o coeficiente de consistência interna medido pelo alfa de Cronbach. Somente dois estudos levantaram a estrutura fatorial dos itens do instrumento por meio da AFE: Lin et al. (2017Lin, C-H., Zhang, Y., & Zheng, B. (2017). The Roles of Learning Strategies and Motivation in Online Language Learning: A Structural Equation Modeling Analysis. Computers & Education, 113, 75-85. https://doi.org/10.1016/j.compedu.2017.05.014
https://doi.org/10.1016/j.compedu.2017.0...
), com uma versão de 4 dimensões e exclusão de itens elaborada antes da análise, com a justificativa de adaptação para o nível de escolaridade dos participantes, e Martinez-Lopez et al. (2017Martinez-Lopez, R., Yot, C., Tuovila, I., & Perera-Rodríguez, V. H. (2017). Online Self-Regulated Learning Questionnaire in a Russian MOOC. Computers in Human Behavior, 75, 966-74. https://doi.org/10.1016/j.chb.2017.06.015
https://doi.org/10.1016/j.chb.2017.06.01...
), com uma amostra de apenas 45 estudantes. Na Tabela 1 é apresentada a síntese dos resultados dos estudos de validade do OSLQ. Vale ressaltar que o tamanho reduzido das amostras e a modificação do instrumento para a AFE dificultam a comparação dos resultados e são pontos a serem considerados na análise dos poucos estudos disponíveis na literatura.

Tabela 1
Estudos de Validade do OSLQ

Taghizade et al. (2020Taghizade, A., Azimi, E., & Mirzaee, R. (2020).Validity Evidence for a Persian Version of the Online Self-Regulated Learning Questionnaire. Interdisciplinary Journal of Virtual Learning in Medical Sciences, 11(1), 13-24. https://dx.doi.org/10.30476/ijvlms.2020.84802.1017
https://dx.doi.org/10.30476/ijvlms.2020....
) realizaram uma Análise dos Componentes Principais (ACP), descobrindo seis fatores. A AFE e ACP são técnicas de redução de variáveis ou componentes, sendo comumente empregadas para análise de estrutura fatorial. No entanto, há diferença importante entre as duas técnicas (Costello & Osborne, 2005Costello, A. B., & Osborne, J. (2005). Best Practices in Exploratory Factor Analysis: Four Recommendations for Getting the Most from Your Analysis. Practical Assessment, Research, and Evaluation, 10(7). https://doi.org/10.7275/jyj1-4868
https://doi.org/10.7275/jyj1-4868...
; Damásio, 2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
). As duas análises pressupõem que a variância de cada variável é composta por variância específica (da própria variável), variância comum (compartilhada por todos os itens do fator ou componente) e variância do erro (parcela do item não explicada pelo componente ou fator). A ACP considera as variâncias específica e comum, resultando em cargas fatoriais e comunalidades infladas. Já para a AFE, cujo objetivo é descobrir a estrutura de construtos latente que explica a variância dos itens, somente a parcela de variância compartilhada (comum) dos itens é considerada, sendo indicados para extração de fatores os métodos Máxima Verossimilhança (Maximum Likelihood; ML), para amostras com distribuição normal, e Principais Eixos Fatoriais (Principal Axis Factoring), para distribuição não normal (Damásio, 2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
).

No presente estudo, buscaram-se evidências de validade de uma versão do OSLQ para o Português, com amostra de 1.434 participantes matriculados em curso on-line, empregando-se as técnicas estatísticas recomendadas por estudiosos da Psicometria na atualidade, como Damásio (2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
), Lara (2014Lara, A. S. D. (2014). ¿ Matrices Policóricas/Tetracóricas o Matrices Pearson? Un Estúdio Metodológico [Polychoric/Tetrachoric Matrix or Pearson Matrix? A Methodological Study]. Revista Argentina de Ciencias del Comportamiento, 6(1), 39-48.) e Lorenzo-Seva e Ferrando (2019Lorenzo-Seva, U., & Ferrando, P. J. (2019). A General Approach for Fitting Pure Exploratory Bifactor Models. Multivariate Behavioral Research, 54(1), 15-3. https://doi.org/10.1080/00273171.2018.1484339
https://doi.org/10.1080/00273171.2018.14...
).

Método

Participantes

Responderam ao OSLQ 1.434 estudantes de um curso de Pedagogia na modalidade a distância, de um universo de 89.000 alunos matriculados, sendo o tipo de amostragem não probabilístico por adesão. Foram 1.364 (95,12%) do sexo feminino e 70 (4,88%) do sexo masculino. A média de idade dos participantes foi de 31,2 anos (DP=8,75), com uma variação de 17 a 63 anos. A maior concentração se deu na faixa de 21 a 30 anos, contabilizando 40,9% da amostra, seguida pela faixa de 31 a 40 anos, com 33,75%. Quanto à distribuição dos participantes por regiões do Brasil, 474 participantes (33,05%) eram do Sudeste, 291 (20,29%) do Sul, 267 (18,62%) do Nordeste, 208 (14,5%) do Centro-Oeste e 194 (13,52%) da região Norte. Com relação ao semestre que estavam matriculados no curso, 27,96% (401 alunos) estavam no quarto semestre, enquanto a menor concentração deu-se no sétimo semestre, com 3,28% da amostra (47 alunos).

Instrumentos

Foi objeto de levantamento de evidências de validade para amostra de 1.434 estudantes brasileiros a tradução do original em Inglês para o Português do Questionário de Aprendizagem Autorregulada Online OSLQ de Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
), que foi autorizada pelos autores, sendo realizada por profissional fluente em ambos os idiomas. Seguindo orientações de Borsa et al. (2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
), buscaram-se considerações linguísticas, culturais, contextuais e científicas acerca do construto avaliado. Com esse intuito, o instrumento foi avaliado acerca da pertinência de linguagem, conteúdo e estrutura por seis especialistas na área de construção, padronização, validação e revisão de instrumentos de avaliação psicológica. Quatro retornaram com sugestões que foram analisadas e adotadas. Na sequência, a versão preliminar foi enviada para cinco alunos da EaD, visando descobrir a adequação da linguagem dos itens, não havendo necessidade de alterações.

Como no original de Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
), o questionário foi composto por 24 afirmativas, elaboradas em torno de seis construtos vinculados à autorregulação da aprendizagem: estabelecimento de metas, estruturação do ambiente, estratégias para realização de tarAFEs, gerenciamento do tempo, procura por ajuda e autoavaliação. De acordo com o instrumento, os participantes são orientados a assinalar a opção que melhor representa como eles se percebem em relação ao seu curso na modalidade de educação a distância, em escala do tipo Likert de 5 pontos (5 concordo totalmente a 1 discordo totalmente). Todos os itens da escala são positivos e, de acordo com Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
), valores entre 1 e 2 indicam baixa frequência de autorregulação, entre 2,1 e 3,9, autorregulação moderada e, entre 4 e 5, alta frequência de autorregulação.

Procedimentos

Para a realização da pesquisa, seguiram-se os princípios presentes na Resolução 466/12 do Conselho Nacional de Saúde, sendo submetida à apreciação e aprovação do Comitê de Ética em Pesquisas envolvendo seres humanos, sob o número 1.597.451.

A aplicação da versão final do questionário foi realizada on-line, utilizando o recurso Google Forms (aplicação de criação e gestão de formulários do Google), sendo disponibilizada na plataforma do curso no qual o aluno se encontrava matriculado. Foi enviado por e-mail aos alunos um link para acesso ao instrumento, disponibilizado por 30 dias. Ao acessá-lo, o aluno era convidado a participar da pesquisa e, somente após a concordância com o Termo de Consentimento Livre e Esclarecido (TCLE), o questionário se tornava acessível. Os dados coletados foram codificados e inseridos no software SPSS Statistics versão 21 e transferidos para o software Factor Analysis, gratuito e disponível em (http://psico.fcep.urv.es/utilitats/factor/Download.html).

No Estudo 1, os dados da amostra total de 1.434 participantes foram submetidos ao estudo confirmatório da estrutura fatorial indicada por Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
) e ao levantamento de consistência interna dos itens de cada subescala, medida pelo alfa de Cronbach, utilizando-se o programa IBM SPSS Statistics 21. No Estudo 2, os dados foram transferidos para o software Factor Analysis para a realização da Análise Fatorial ExploratóriaDamasio, B. F. (2012). Uso da Análise Fatorial Exploratória em Psicologia [Uses of Exploratory Factorial Analysis in Psychology]. Avaliação Psicológica, 11(2), 213-228. (AFE), por meio do método Análise Paralela, mediante Robust Unweighted Least Squares (RULS), com rotação Robust Oblimin (Lorenzo-Seva & Ferrando, 2019Lorenzo-Seva, U., & Ferrando, P. J. (2019). A General Approach for Fitting Pure Exploratory Bifactor Models. Multivariate Behavioral Research, 54(1), 15-3. https://doi.org/10.1080/00273171.2018.1484339
https://doi.org/10.1080/00273171.2018.14...
).

Resultados e Discussão

Estudo 1

Buscou-se verificar o ajuste do modelo hipotético de 6 fatores aos dados da amostra de 1.434 participantes. Para a construção do modelo a ser confirmado, foram considerados os erros de mensuração dos 24 itens e as especificações entre os 5 construtos ou variáveis latentes. Para o cálculo do ajuste dos dados ao modelo hipotético, presumiu-se que as variáveis latentes eram correlacionadas entre si. Como índices absolutos de ajuste do modelo, foram utilizados a estatística do qui-quadrado e o Root Mean Square (RMR). O valor do teste de qui-quadrado para o ajustamento do modelo foi significativo (χ²=1.379,368; p < 0,000), indicando a existência de diferenças estatisticamente significantes entre a matriz prevista pelo modelo hipotético e a matriz dos dados analisada. Isto pode ser justificado pelo tamanho da amostra, decorrente da sensibilidade do qui-quadrado a essa variável. A razão entre qui-quadrado e graus de liberdade χ²=1.379,368/gl 237=5,820 revelou ajuste abaixo do razoável, segundo Carmines e McIver (1981Carmines, E. G., & McIver, J. P. (1981). Analyzing Models with Unobserved Variables: Analysis of Covariance Structures. In G. W. Bohrnstedt, & E. F. Borgatta (Eds.), Social Measurement: Current Issues (pp. 65-115). Sage Publications, Inc.). O RMR foi de 0,063, indicando ajuste adequado. Simultaneamente, foram empregadas outras medidas de ajuste do modelo: o CFI (0,906), valor esse abaixo de 0,95, descrito pela literatura como o mínimo indicativo de um bom ajustamento (Hu & Bentler, 1998Hu, L., & Bentler, P. M. (1998). Fit Indices in Covariance Structure Modeling: Sensitivity to Under Parameterized Model Misspecification. Psychological Methods, 3, 424-453. https://doi.org/10.1037/1082-989X.3.4.424
https://doi.org/10.1037/1082-989X.3.4.42...
), o GFI (0,915) e o AGFI (0,892), que comparam os resíduos das matrizes de dados observadas e estimadas e revelaram um mau ajuste do modelo, visto que os valores foram próximos e menores que 0,90, e o RMSEA de 0,058, indicando ajuste adequado do modelo, já que valores inferiores a 0,05 traduzem um bom ajuste e resultados entre 0,05 a 0,08 traduzem erros razoáveis, sendo considerados adequados. De maneira geral, o modelo revelou ajuste adequado, semelhantes aos obtidos em pesquisas realizadas anteriormente com o mesmo instrumento. A observação de resíduos elevados que possivelmente revelam a presença de itens redundantes, fato este que elevaria a probabilidade de estarem correlacionados às variâncias-erro de alguns itens, levou à tentativa de nova especificação e análise dos itens com a inserção de covariâncias entre os erros de mensuração de cada item (Figura 1).

Figura 1
Diagrama OSLQ com inserção de covariâncias entre os erros de mensuração de itens

Como pode ser observado na Figura 1, os itens que compuseram as subescalas de avaliação das estratégias de autoavaliação e procura por ajuda tiveram correlacionadas as variâncias-erro em grande parte de seus itens. A nova especificação com a inserção das covariâncias melhorou os índices de ajuste do Modelo. A razão entre qui-quadrado e graus de liberdade foi de χ²=741,294/gl 225= 3,294; reduziram-se também os índices RMR 0,045 e RMSEA 0,040 e melhoraram os índices GFI 0,958, AGFI 0,943 e CFI 0,957. A presente AFC diferencia-se daquelas realizadas pelas pesquisas indicadas na Tabela 1 pelo tamanho da amostra, por serem estudantes de curso 100% on-line e pelo uso de todos os itens do OSLQ traduzidos e adaptados para o português. Os resultados obtidos, no entanto, foram alinhados aos demais, indicando ajuste razoável do modelo de seis dimensões.

Estudo 2 - AFE por Verossimilhança Máxima e Oblimin Rotation

A realização da AFE, com a versão em Português do OSLQ foi realizada devido à inexistência da análise na literatura, isto é, avaliando o instrumento completo como na versão original, com grande tamanho de amostra. Conforme Damásio (2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
), embora haja controvérsia acerca do número de observações por item do instrumento para avaliação, caso a medida tenha um número reduzido de itens por fator e apresente baixas cargas fatoriais e comunalidades, é alta a probabilidade de que sejam encontradas soluções fatoriais instáveis com um N pequeno.

Os mesmos dados foram então submetidos à análise no programa Factor 10,3.01 (Lorenzo-Seva & Ferrando, 2015) que disponibiliza técnicas consideradas mais precisas para estudos que busquem evidências de validade de instrumentos. Foi realizada AFE com método Unweighted Least Squares (ULS) e rotação direct oblimin. A Análise Paralela baseada em Minimum Rank Factor Analysis foi utilizada para a determinação do número de fatores a serem extraídos. A distribuição dos escores do OSLQ revelou assimetrias de -1.588 a -0,586 e kurtosis de -0,547 a 4.704, sendo identificados valores extremos. Nesse caso, quando as distribuições univariadas de itens ordinais são assimétricas ou com excesso de kurtosi, a matriz de correlação policórica (Lara, 2014Lara, A. S. D. (2014). ¿ Matrices Policóricas/Tetracóricas o Matrices Pearson? Un Estúdio Metodológico [Polychoric/Tetrachoric Matrix or Pearson Matrix? A Methodological Study]. Revista Argentina de Ciencias del Comportamiento, 6(1), 39-48.) é aconselhada.

A matriz de correlação policórica dos itens é apresentada na Tabela 2. O teste KMO forneceu um valor de 0,92679 (considerado muito bom) e o Teste de Esfericidade de Bartlett apresentou valores χ² 16.384,8 (gl=276; p=0,000010), ambos indicando a adequação dos dados para análise fatorial. Foram extraídos 5 fatores com autovalores >1,0, com indicação de retenção de 2 fatores (Tabela 3). Estes resultados não se alinharam com os obtidos por Taghizade et al. (2020Taghizade, A., Azimi, E., & Mirzaee, R. (2020).Validity Evidence for a Persian Version of the Online Self-Regulated Learning Questionnaire. Interdisciplinary Journal of Virtual Learning in Medical Sciences, 11(1), 13-24. https://dx.doi.org/10.30476/ijvlms.2020.84802.1017
https://dx.doi.org/10.30476/ijvlms.2020....
) por meio da solução de 6 fatores, coerente entre os itens do OSLQ e as dimensões previstas. Contudo, como já assinalado, os autores empregaram a ACP que, embora seja amplamente utilizada, não é considerada AFE genuína (Damásio, 2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
; Hernandes et al., 2017).

Tabela 2
Matriz de Correlações Policóricas dos Itens do OSLQ

Tabela 3
Análise Paralela baseada em Minimum Rank Factor Analysis

Conforme Tabela 4, no Fator 1 foram carregados 10 itens, com carga fatorial variando de 0,42 a 0,93. Os cinco itens elaborados para avaliação das estratégias de estabelecimento de metas (GS) são: Item 1 - Estabeleço padrões para minhas tarAFEs no curso a distância; Item 2 - Estabeleço metas de curto prazo (diárias ou semanais) bem como metas de longo prazo (mensais ou semestrais); Item 3 - Mantenho um alto nível para meu aprendizado no curso a distância; Item 4 - Estabeleço metas para me auxiliarem a gerenciar o tempo de estudo no curso a distância; e Item 5 - Não comprometo a qualidade do meu trabalho por ele ser a distância. Os quatro itens de estruturação do ambiente (ES) são: Item 6 - Escolho o local onde estudo para evitar muita distração; Item 7 - Encontro um lugar confortável para estudar; Item 8 - Sei onde posso estudar de forma mais eficiente para o curso a distância; e Item 9 - Escolho um horário com poucas distrações para estudar para o curso a distância. O único item da estratégia de gerenciamento do tempo (TM) é o Item 14 - Aloco tempo extra de estudo para meus cursos on-line porque sei que eles tomam tempo.

Tabela 4
Cargas Fatoriais da AFE com Rotação Direct Oblimin dos Itens da OSLQ e comunalidades

Nove itens carregaram em relação ao Fator 2, com cargas fatoriais de 0,31 a 0,82, sendo três itens de avaliação de estratégias para realização de tarAFEs (TS): Item 10 - Procuro fazer anotações mais completas no curso a distância porque anotações são ainda mais importantes para o aprendizado on-line do que para um aprendizado em sala de aula normal; Item 11 - Leio em voz alta os materiais de instrução postados on-line para lutar contra as distrações; Item 13 - Trabalho em problemas extras no curso a distância, além dos indicados, para dominar o conteúdo do curso. Há três itens de procura por ajuda (HS): Item 18 - Compartilho meus problemas com os colegas on-line de forma que saibamos o que nos traz dificuldades e como solucionar nossos problemas; Item 19 - Se necessário, tento encontrar meus colegas pessoalmente; e Item 20 - Sou persistente para obter ajuda do tutor por e-mail. E dois itens de autoavaliação (SE): Item 23 - Comunico-me com meus colegas para descobrir como estou indo em minhas aulas a distância e Item 24 - Comunico-me com meus colegas para verificar se o que estou aprendendo é diferente daquilo que eles estão aprendendo. Os demais cinco itens do instrumento carregaram em ambos os fatores com carga fatorial entre 0,30 e 044. O Índice de Simplicidade de Bentler (1977) foi 0,78 (100º percentil) e o Índice de Simplicidade de Cargas foi 0,50 (100º percentil). Estes valores indicaram que cada item representa, predominantemente, uma única dimensão e a solução global apresentou um elevado grau de simplicidade. A Root Mean Square of Residuals (RMSR) foi 0,0254, enquanto o valor médio esperado para um modelo aceitável é de até 0,0264.

A extração de dois fatores pela análise realizada não corroborou as seis dimensões propostas como subjacentes aos itens do instrumento. O agrupamento dos itens em torno dos dois fatores tampouco contemplou a lógica de sua elaboração, visto que itens de diferentes dimensões se alocaram em torno de um mesmo fator. Buscou-se, então, a confirmação do modelo de dois fatores com os 19 itens, excluindo-se aqueles que carregaram em ambos os fatores (Figura 2). A razão entre qui-quadrado e graus de liberdade χ2(164)=1.200,68/164=7,321; p=0,00 revelou ajuste abaixo do razoável, segundo Carmines e McIver (1981Carmines, E. G., & McIver, J. P. (1981). Analyzing Models with Unobserved Variables: Analysis of Covariance Structures. In G. W. Bohrnstedt, & E. F. Borgatta (Eds.), Social Measurement: Current Issues (pp. 65-115). Sage Publications, Inc.). Os índices de adequação da AFC para o modelo de dois fatores foram ruins; o RMR foi de 0,192, CFI 0,78, GFI 0,84, AGFI 0,806 e RMSEA 0,09.

Figura 2
Diagrama OSLQ - modelo de dois fatores

Considerações Finais

A educação na modalidade a distância é uma realidade no Brasil e são incipientes os estudos que buscam compreender as exigências para o êxito na aprendizagem de estudantes no ambiente on-line. A autorregulação da aprendizagem revela-se como importante fator, tendo em vista a autonomia implícita para esse ambiente de aprendizagem. A literatura aponta que instrumentos utilizados para a avaliação da autorregulação da aprendizagem em contextos presenciais não são adequados para aprendizagem on-line, considerando-se os desdobramentos da autonomia oferecida e exigida dos estudantes como, por exemplo, a estruturação do ambiente de estudo, a flexibilidade do tempo, a procura por ajuda e a autoavaliação. No presente estudo, buscaram-se evidências de validade de uma versão brasileira do OSLQ, instrumento elaborado para avaliação de seis dimensões da autorregulação de aprendizagem em ambientes on-line. O modelo original proposto pelos autores revelou ajuste no limite dos critérios considerados para sua adequação, comparáveis aos resultados encontrados em outros estudos disponíveis na literatura. A AFE indicou um novo modelo hipotético de dois fatores, agrupando itens de projetados para a avaliação de três dimensões (F1) (Estruturação do Ambiente, Estratégias de realização de tarAFEs e Gerenciamento do tempo) e, para o Fator 2, itens elaborados para avaliação três dimensões (Estratégias de realização de tarAFEs, Procura por ajuda e Autoavaliação).

Desde sua proposição por Barnard-Brak et al. (2009Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
https://doi.org/10.1016/j.iheduc.2008.10...
), os estudos de validade do instrumento foram feitos com versões reduzidas e modificadas e/ou com pequenas amostras, pouco indicadas para o caso de instrumento com fatores e itens ainda não confirmados por análises psicométricas. O método das Análises Paralelas, segundo Damásio (2012Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
), consolida-se nas pesquisas internacionais e, embora pouco utilizado no Brasil, possibilita resultados mais acurados para extração e análise dos dados, essenciais para estudos que utilizem questionários com afirmativas em escalas tipo Likert. No presente estudo, além da AFC do modelo original de seis itens, utilizando-se as análises clássicas e disponíveis nos pacotes estatísticos mais conhecidos como, por exemplo, SPSS, STATA e STATISTICA. Foi realizada AFE mediante as técnicas mais atuais e recomendadas, disponíveis no software Factor.

De acordo com Cronbach (1996Cronbach, L. J. (1996). Fundamentos da Testagem Psicológica [Fundamentals of Psychological Testing]. 5. ed. Artmed.), a validade de uma medida de avaliação e do constructo subjacente são inseparáveis. Após a elaboração da medida, o processo subsequente é a busca de evidências que demonstrem sua adequação, sendo possível uma revisão quando são reconhecidos aspectos falhos ou inadequados. Nesses casos, a autocrítica e a crítica daqueles que argumentam em favor de outras interpretações desempenham papel importante na complexa tarAFE de validação. Ainda segundo o autor, quando é elaborada uma medida para avaliar um constructo bem aceito, ela corre mais riscos quanto à sua adequação do que o constructo, no entanto, as evidências que emergem do conjunto de análises realizado podem também orientar a revisão do constructo para o qual foi planejada.

A disponibilidade de instrumentos de avaliação da autorregulação da aprendizagem em ambientes on-line é necessária para o conhecimento e compreensão a respeito de estratégias utilizadas pelos estudantes desta modalidade de ensino. Embora estudos realizados com o OSLQ e com amostras de estudantes estrangeiros tenham obtido resultados satisfatórios acerca de sua adequação, as características desses estudos não apoiaram a estrutura proposta. Aponta-se para a necessidade de novos estudos acerca das propriedades do instrumento e, provavelmente, da elaboração de novos itens de avaliação, caso se mantenham os construtos subjacentes.

References

  • Araka, E., Maina, E., Gitonga, R., & Oboko, R. (2020). Research Trends in Measurement and Intervention Tools for Self-Regulated Learning for E-Learning Environments-Systematic Review (2008-2018). Research and Practice in Technology Enhanced Learning, 15(6), 1-21. https://doi.org/10.1186/s41039-020-00129-5
    » https://doi.org/10.1186/s41039-020-00129-5
  • Baker, R., Dee, T., Evans, B., & John, J. (2018). Bias in Online Classes: Evidence from a Field Experiment. CEPA Working Paper No. 18-03. Stanford Center for Education Policy Analysis
  • Bandura, A. (2008). A Teoria Social Cognitiva na Perspectiva da Agência [The Social Cognitive Perspective in the Agentic Perspective] . In A. Bandura, R. G. Azzi & S. Polydoro (Orgs.), Teoria Social Cognitiva: Conceitos Básicos (pp.69-95). Artmed.
  • Broadbent, J., & Poon, W. L. (2015). Self-Regulated Learning Strategies & Academic Achievement in Online Higher Education Learning Environments: A systematic review. Internet and Higher Education, 27, 1-13. https://doi.org/10.1016/j.iheduc.2015.04.007
    » https://doi.org/10.1016/j.iheduc.2015.04.007
  • Barnard-Brak, L., Paton, V., & Lan, W. (2008). Online Self-Regulatory Learning Behaviors as a Mediator in the Relationship between Online Course Perceptions with Achievement. The International Review of Research in Open and Distributed Learning, 9(2), 1-7. https://doi.org/10.19173/irrodl.v9i2.516
    » https://doi.org/10.19173/irrodl.v9i2.516
  • Barnard-Brak, L., Lan, W. Y., To, Y. M., Paton, V. O., & Lai, S. L. (2009). Measuring Self-Regulation in Online and Blended Learning Environments. The Internet and Higher Education, 12(1), 1-6. https://doi.org/10.1016/j.iheduc.2008.10.005
    » https://doi.org/10.1016/j.iheduc.2008.10.005
  • Barnard-Brak, L., Lan, W. Y., & Paton, V. O. (2010). Profiles in Self-Regulated Learning in the Online Learning Environment. International Review of Research in Open and Distance Learning, 11(1), 149-56. https://doi.org/10.19173/irrodl.v11i1.769
    » https://doi.org/10.19173/irrodl.v11i1.769
  • Belloni, M. L. (2009). Educação à Distância 5. ed. Autores Associados.
  • Breslow, L., Pritchard, D. E., DeBoer, J., Stump, G. S., Ho, A. D., & Seaton, D. T. (2013). Studying Learning in the Worldwide Classroom Research into edX's First MOOC. Research & Practice in Assessment, 8, 13-25.
  • Borsa, J. C., Damásio, B. F. & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
    » https://doi.org/10.1590/S0103-863X2012000300014
  • Carmines, E. G., & McIver, J. P. (1981). Analyzing Models with Unobserved Variables: Analysis of Covariance Structures. In G. W. Bohrnstedt, & E. F. Borgatta (Eds.), Social Measurement: Current Issues (pp. 65-115). Sage Publications, Inc.
  • Costello, A. B., & Osborne, J. (2005). Best Practices in Exploratory Factor Analysis: Four Recommendations for Getting the Most from Your Analysis. Practical Assessment, Research, and Evaluation, 10(7). https://doi.org/10.7275/jyj1-4868
    » https://doi.org/10.7275/jyj1-4868
  • Cronbach, L. J. (1996). Fundamentos da Testagem Psicológica [Fundamentals of Psychological Testing]. 5. ed. Artmed.
  • Damasio, B. F. (2012). Uso da Análise Fatorial Exploratória em Psicologia [Uses of Exploratory Factorial Analysis in Psychology]. Avaliação Psicológica, 11(2), 213-228.
  • Lara, A. S. D. (2014). ¿ Matrices Policóricas/Tetracóricas o Matrices Pearson? Un Estúdio Metodológico [Polychoric/Tetrachoric Matrix or Pearson Matrix? A Methodological Study]. Revista Argentina de Ciencias del Comportamiento, 6(1), 39-48.
  • Fung, J. J., Yuen, M., & Yuen, A. H. (2018). Validity Evidence for a Chinese Version of the Online Self-Regulated Learning Questionnaire with Average Students and Mathematically Talented Students. Measurement and Evaluation in Counseling and Development, 51(2), 111-124. https://doi.org/10.1080/07481756.2017.1358056
    » https://doi.org/10.1080/07481756.2017.1358056
  • Gameel, B. G. (2017). Learner Satisfaction with Massive Open Online Courses. American Journal of Distance Education, 31(2), 98-111. https://doi.org/1.1080/08923647.2017.1300462
    » https://doi.org/1.1080/08923647.2017.1300462
  • Handoko, E., Gronseth, S. L., McNeil, S. G., Bonk, C. J., & Robin, B. R. (2019). Goal setting and MOOC completion: A study on the role of self-regulated learning in student performance in massive open online courses. The International Review of Research in Open and Distance Learning, 20(3), 39-58. https://doi.org/10.19173/irrodl.v20i4.4270
    » https://doi.org/10.19173/irrodl.v20i4.4270
  • Hu, L., & Bentler, P. M. (1998). Fit Indices in Covariance Structure Modeling: Sensitivity to Under Parameterized Model Misspecification. Psychological Methods, 3, 424-453. https://doi.org/10.1037/1082-989X.3.4.424
    » https://doi.org/10.1037/1082-989X.3.4.424
  • Kizilcec, R. F., Pérez-Sanagustín, M., & Maldonado, J. J. (2017). Self-Regulated Learning Strategies Predict Learner Behavior and Goal Attainment in Massive Open Online Courses. Computers & Education, 104, 18-33. https://doi.org/10.1016/j.compedu.2016.10.001
    » https://doi.org/10.1016/j.compedu.2016.10.001
  • Korkmaz, O., & Kaya, S. (2012). Adapting Online Self-Regulated Learning Scale into Turkish. Turkish Online Journal of Distance Education-TOJDE, 13(1), 1302-8.
  • Lin, C-H., Zhang, Y., & Zheng, B. (2017). The Roles of Learning Strategies and Motivation in Online Language Learning: A Structural Equation Modeling Analysis. Computers & Education, 113, 75-85. https://doi.org/10.1016/j.compedu.2017.05.014
    » https://doi.org/10.1016/j.compedu.2017.05.014
  • Lorenzo-Seva, U., & Ferrando, P. J. (2019). A General Approach for Fitting Pure Exploratory Bifactor Models. Multivariate Behavioral Research, 54(1), 15-3. https://doi.org/10.1080/00273171.2018.1484339
    » https://doi.org/10.1080/00273171.2018.1484339
  • Martinez-Lopez, R., Yot, C., Tuovila, I., & Perera-Rodríguez, V. H. (2017). Online Self-Regulated Learning Questionnaire in a Russian MOOC. Computers in Human Behavior, 75, 966-74. https://doi.org/10.1016/j.chb.2017.06.015
    » https://doi.org/10.1016/j.chb.2017.06.015
  • Pintrich, P. R. (2004). A Conceptual Framework for Assessing Motivation and Self-Regulated Learning in College Students. Educational Psychology Review, 16(4), 385-407. https://doi.org/10.1007/s10648-004-0006-x
    » https://doi.org/10.1007/s10648-004-0006-x
  • Qiu, J., Tang, J., Liu, T. X., Gong, J., Zhang, C., Zhang, Q., & Xue, Y. (2016). Modeling and Predicting Learning Behavior in MOOCs. In Proceedings of the Ninth ACM International Conference on Web Search and Data Mining (pp. 93-102). ACM.
  • Rodrigues, R. L., Ramos, J. L. C., Silva, J. C., Gomes, A. S., & Fonseca, J. A. V. (2016). Validação de um Instrumento de Mensuração de Autorregulação da Aprendizagem em Contexto Brasileiro Usando Análise Fatorial Confirmatória [Validation of a self-Regulation Learning Measurement Instrument in the Brazilian Context Using Confirmatory Factor Analysis]. Novas Tecnologias na Educação, 14(1). https://doi.org/10.22456/1679-1916.67337
    » https://doi.org/10.22456/1679-1916.67337
  • Simão, A. M. V., & Frison, L. M. B. (2013). Autorregulação da Aprendizagem: Abordagens Teóricas e Desafios para as Práticas em Contextos Educativos [Self-Regulation Learning: Theoretical Approaches and Challenges for Practice in Educational Contexts]. Cadernos de Educação, 45, pp. 2-20. https://doi.org/10.15210/caduc.v0i45.3814
    » https://doi.org/10.15210/caduc.v0i45.3814
  • Schunk, D. H. (2001). Self-Regulation Through Goal Setting. ERIC Digests, CG-01-08.
  • Tabuenca, B., Kalz, M., Drachsler, H., & Specht, M. (2015). Time Will Tell: The Role of Mobile Learning Analytics in Self-Regulated Learning. Computers & Education, 89, 53-74. https://doi.org/1.1016/j.compedu.2015.08.004
    » https://doi.org/1.1016/j.compedu.2015.08.004
  • Taghizade, A., Azimi, E., & Mirzaee, R. (2020).Validity Evidence for a Persian Version of the Online Self-Regulated Learning Questionnaire. Interdisciplinary Journal of Virtual Learning in Medical Sciences, 11(1), 13-24. https://dx.doi.org/10.30476/ijvlms.2020.84802.1017
    » https://dx.doi.org/10.30476/ijvlms.2020.84802.1017
  • Valente, J. A. (2005). Pesquisa, comunicação e aprendizagem com o computador: o papel do computador no processo ensino-aprendizagem. Em BRASIL. Ministério da Educação. Integração das tecnologias na educação Brasília: Ministério da Educação, SEED.
  • Vilkova, K., & Shcheglova, I. (2020). Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms. Education and Information Technologies https://doi.org/10.1007/s10639-020-10244-x
    » https://doi.org/10.1007/s10639-020-10244-x
  • Zimmerman, B. J., & Schunk, D. H. (2011). Self-Regulated and Performance: An Introduction and an Overview. In Zimmerman, B.; Schunk, D. H., Handbook of Self-Regulation of Learning Band Performance, pp. 1-12. Routledge: Taylor; Francis Group.

Datas de Publicação

  • Publicação nesta coleção
    08 Out 2021
  • Data do Fascículo
    2021

Histórico

  • Recebido
    08 Nov 2018
  • Revisado
    13 Set 2019
  • Aceito
    28 Out 2020
Instituto de Psicologia, Universidade de Brasília Instituto de Psicologia, Universidade de Brasília, 70910-900 - Brasília - DF - Brazil, Tel./Fax: (061) 274-6455 - Brasília - DF - Brazil
E-mail: revistaptp@gmail.com