Acessibilidade / Reportar erro

Modelo de diseño de un instrumento para el aprendizaje y evaluación adaptativa de saberes algebraicos

Modelo para a concepção de um instrumento de aprendizagem adaptativa e avaliação do conhecimento algébrico

Design model of an instrument for learning and adaptive assessment of algebraic knowledge

Resumen

El objetivo del presente estudio fue desarrollar una prueba desde el enfoque de aprendizaje adaptativo, que facilite realizar un diagnóstico que deriva en una trayectoria personalizada de actividades de aprendizaje para los estudiantes universitarios en función del nivel de dominio de las competencias para la materia de álgebra. Participaron 3 docentes en el diseño y se aplicó a 46 estudiantes universitarios. La prueba puntuó con una consistencia interna de 0.85. La aplicación permitió diseñar las trayectorias personalizadas con las que los estudiantes debían iniciar y progresar en su desempeño. Los resultados permiten indicar que las trayectorias personalizadas constituyen un apoyo esencial en la aplicación del aprendizaje adaptativo cuando se trabaja en modelos por competencias.

Palabras clave:
Álgebra; Aprendizaje adaptativo; Competencias; Educación superior; Evaluación adaptativa

Resumo

O objetivo deste estudo é desenvolver um teste a partir da abordagem de aprendizagem adaptativa, que facilite um diagnóstico que resulte em uma trajetória personalizada de atividades de aprendizagem para estudantes universitários com base no nível de domínio das habilidades para a disciplina de álgebra. Três professores participaram do projeto e ele foi aplicado a 46 estudantes universitários. O teste obteve pontuação com consistência interna de 0,85. O aplicativo permitiu o desenho de trajetórias personalizadas com as quais os alunos tiveram que iniciar e progredir em seu desempenho. Os resultados permitem indicar que as trajetórias personalizadas constituem um suporte essencial na aplicação da aprendizagem adaptativa ao trabalhar em modelos baseados em competências.

Palavras-chave:
Álgebra; Aprendizagem adaptativa; Competências; Ensino superior; Avaliação adaptativa

Abstract

The objective of this study was to develop a test from the adaptive learning approach, which facilitates a diagnosis that leads to a personalized trajectory of learning activities for university students according to the level of mastery of the competencies for the subject of algebra. Three teachers participated in the design and it was applied to 46 university students. The test scored with an internal consistency of 0.85. The application made it possible to design the personalized trajectories with which the students were to start and progress in their performance. The results indicate that personalized trajectories constitute an essential support in the application of adaptive learning when working in competency-based models.

Keywords:
Algebra; Adaptive learning; Competencies; Higher education; Adaptive assessment

1 Introducción

Cada día alrededor del mundo, son más las instituciones educativas que están incorporando tecnologías emergentes como la Inteligencia Artificial, Aprendizaje Adaptativo y las Analíticas de Aprendizaje, por mencionar algunas. El objetivo es facilitar el acceso al conocimiento al estudiante en cualquier momento y lugar. Esto contribuye a ofrecer una educación flexible, dinámica y personalizada (DZIUBAN, C. D. y col., 2016DZIUBAN, Charles D. y col. Adaptive Learning in Psychology: Wayfinding in the Digital Age. en. Online Learning, v. 20, n. 3, p. 74-96, sep. 2016. ISSN 1939-5256. Disponible en: <Disponible en: https://eric.ed.gov/?id=EJ1113343 >. Acceso en: 31 ene. 2022.
https://eric.ed.gov/?id=EJ1113343...
). Por ejemplo, Sharma, Papamitsiou y Giannakos (2019SHARMA, Kshitij; PAPAMITSIOU, Zacharoula y GIANNAKOS, Michail. Building pipelines for educational data using AI and multimodal analytics: A “grey-box” approach. en. British Journal of Educational Technology, v. 50, n. 6, p. 3004-3031, nov. 2019. ISSN 0007-1013, 1467-8535. DOI: 10.1111/bjet.12854. Disponible en: <Disponible en: https://onlinelibrary.wiley.com/doi/10.1111/bjet.12854 >. Acceso en: 31 ene. 2022.
https://onlinelibrary.wiley.com/doi/10.1...
) proporcionaron una metodología para construir canales de aprendizaje automático para datos educativos multimodales. Con el objetivo de predecir el compromiso y desempeño del estudiante en entornos virtuales de aprendizaje adaptativo, utilizando Inteligencia Artificial y Aprendizaje Adaptativo.

En este trabajo de investigación, el tema central es precisamente uno de los conceptos que ha conllevado al diseño de diferentes tecnologías emergentes: el Aprendizaje Adaptativo (AA). Este tiene una relación cercana al Aprendizaje Personalizado y al Aprendizaje Diferenciado. El primero consiste en estrategias que brindan soluciones e intervenciones que se ajustan a los objetivos individuales del estudiante. El segundo se caracteriza por ofrecer diferentes caminos para que el estudiante adquiera conocimiento con base en sus preferencias y estilo de aprendizaje. Por su parte, el AA utiliza un sistema por ordenador para crear una experiencia personalizada de aprendizaje y, así, lograr la adaptabilidad de la instrucción (MORILLO LOZANO, 2016MORILLO LOZANO, María del Carmen. Aprendizaje adaptativo. spa, 2016. Disponible en: <Disponible en: https://uvadoc.uva.es/handle/10324/21000 >. Acceso en: 31 ene. 2022.
https://uvadoc.uva.es/handle/10324/21000...
). Por tanto, el AA se considera una estrategia y también una herramienta para lograr el Aprendizaje Personalizado.

Dicho lo anterior, se define al AA como un modelo, enfoque o técnica para crear experiencias de aprendizaje personalizado. Su objetivo es proporcionar rutas de aprendizaje eficientes, efectivas y personalizadas para cada estudiante. Emplea un enfoque sofisticado basado en datos, generalmente no lineal, para mejorar la instrucción, retroalimentación y corrección, puesto que se ajusta a las interacciones y al nivel de desempeño demostrado por el discente Newman (2013NEWMAN, Adam. Learning to Adapt: A Case for Accelerating Adaptive Learning in Higher Education. [S.l.], 2013. Disponible en: <https://tytonpartners.com/accelerating-adaptive-learning-in-higher-education/>.
https://tytonpartners.com/accelerating-a...
apud MURRAY y PEREZ, 2015MURRAY, Meg y PEREZ, Jorge. Informing and Performing: A Study ComparingAdaptive Learning to Traditional Learning. Informing Science: The International Journal of an Emerging Transdicipline, v. 18, p. 111-125, jul. 2015. Disponible en: <https://digitalcommons.kennesaw.edu/facpubs/3436>.
https://digitalcommons.kennesaw.edu/facp...
) y Moskal, Carter y Johnson (2017MOSKAL, Patsy; CARTER, Don y JOHNSON, Dale. 7 Things You Should Know About Adaptive Learning. [S.l.], 2017. Disponible en: <https://library.educause.edu/resources/2017/1/7-things-you-should-know-about-adaptive-learning>.
https://library.educause.edu/resources/2...
apud PICCIANO, 2019PICCIANO, Anthony. Artificial Intelligence and the Academy’s Loss of Purpose. Online Learning, v. 23, n. 3, sep. 2019. ISSN 2472-5730, 2472-5749. DOI: 10.24059/olj.v23i3.2023. Disponible en: <Disponible en: https://olj.onlinelearningconsortium.org/index.php/olj/article/view/2023 >. Acceso en: 31 ene. 2022.
https://olj.onlinelearningconsortium.org...
).

Se sabe que existen posturas complementarias que integran elementos de diferentes fuentes disciplinarias al AA. Al inicio, el AA estuvo influenciado por los avances de varias disciplinas. Por ejemplo, (VIRGILI, 2018VIRGILI, María Eulàlia Torras. Fundamentos y práctica del aprendizaje adaptativo. 2018. Tesis (Magíster) - Universidad Internacional de Valencia, Catalunya.) indica que este concepto tiene una naturaleza multidisciplinar. De hecho, es un constructo que se relaciona con las ciencias de la educación, la inteligencia artificial, la psicología y la neurociencia. Las más importantes son la psicología educativa, tecnología educativa y la neurociencia. Por tanto, para efectos de esta investigación, la descripción de su evolución se estructurará en dos temáticas, tecnologías para la educación y cómo aprende el ser humano.

Picciano (2019PICCIANO, Anthony. Artificial Intelligence and the Academy’s Loss of Purpose. Online Learning, v. 23, n. 3, sep. 2019. ISSN 2472-5730, 2472-5749. DOI: 10.24059/olj.v23i3.2023. Disponible en: <Disponible en: https://olj.onlinelearningconsortium.org/index.php/olj/article/view/2023 >. Acceso en: 31 ene. 2022.
https://olj.onlinelearningconsortium.org...
) afirma que el AA tiene sus inicios con las aproximaciones de la Instrucción Asistida por Computadora (CAI) y la máquina de enseñanza de Skinner. En 1959 y 1970 surge el Programmed Logic for Automated Teaching Operations (PLATO) y el primer Sistema Tutorial Inteligente denominado SCHOLAR (por el MIT), respectivamente. Los cuales contribuyeron a automatizar la instrucción individualizada y anticipar las respuestas de quien aprende. No obstante, desde el año 2000 con el surgimiento de los Sistemas de Gestión del Aprendizaje (LMS, por sus siglas en inglés) se detonó el desarrollo y crecimiento de los sistemas computacionales, la Inteligencia Artificial y las Analíticas de Aprendizaje, las cuales comenzaron a tener impacto en el AA. Actualmente, se cuentan con plataformas específicas para el AA, como, por ejemplo: Smart Sparrow (https://www.smartsparrow.com/), Knewton (https://www.knewton.com/), Cogbooks (https://www.cogbooks.com/), entre otras.

Si bien el AA no puede desvincularse teóricamente del aprendizaje y sus diferentes enfoques, tales como el conductismo, cognitivismo o el socioconstructivismo, éstas sitúan al aprendiz en un lugar central, de modo que la personalización del aprendizaje está presente en estos paradigmas clásicos. Por tanto, Povlov, Thorndike, Piaget y Vigostky, se consideran los principales referentes de dichas teorías (ver Tabla 1). Puesto que tuvieron como objeto de estudio los mecanismos de adaptación del organismo al entorno, siendo el aprendizaje un elemento clave en esta adaptación.

Tabla 1
Características de las teorías de aprendizaje que sustentan el aprendizaje adaptativo

En cuanto al AA y su relación con la evaluación del aprendizaje, es pertinente indicar que existe una codependencia entre ambos constructos. Se sabe que la evaluación del aprendizaje, relacionada con el AA, enfoca sus prácticas en lograr la medición del progreso del estudiante y, con ello, precisar o mejorar la instrucción personalizada, se denomina Evaluación Adaptativa (EA) (EDU TRENDS, 2014EDU TRENDS. Aprendizaje y evaluación Adaptativos. [S.l.], jul. 2014.).Dicho lo anterior, para fines de esta investigación, se considerará a la EA como parte inherente del AA. Sus características se observan en la Figura 1 y su relación en la Figura 2.

Figura 1
Relación del Aprendizaje Adaptativo y la Evaluación Adaptativa.

Figura 2
Vista adaptativa para el tratamiento y emisión de trayectorias.

Es importante indicar que en esta investigación el punto medular de interés conlleva abordar la función pedagógica de la evaluación, la cual se vincula con la evaluación continua realizada por el docente. Con el fin de valorar si el alumno ha adquirido las competencias planteadas o logrado los aprendizajes esperados (INEE, 2019INEE, (Instituto Nacional Para la Evaluación de la Educación). La educación obligatoria en México. Perfiles Educativos, v. 41, n. 164, p. 188-199, abr. 2019. ISSN 2448-6167, 0185-2698. DOI: 10.22201/iisue.24486167e.2019.164.59386. Disponible en: <Disponible en: http://perfileseducativos.unam.mx:80/iisue_pe/index.php/perfiles/article/view/59386 >. Acceso en: 31 ene. 2022.
http://perfileseducativos.unam.mx:80/iis...
). Black y Wiliam (2018BLACK, Paul y WILIAM, Dylan. Classroom assessment and pedagogy. en. Assessment in Education: Principles, Policy & Practice, v. 25, n. 6, p. 551-575, nov. 2018. ISSN 0969-594X, 1465-329X. DOI: 10.1080/0969594X.2018.1441807. Disponible en: <Disponible en: https://www.tandfonline.com/doi/full/10.1080/0969594X.2018.1441807 >. Acceso en: 31 ene. 2022.
https://www.tandfonline.com/doi/full/10....
)B afirman que este proceso puede desarrollarse con base en tres enfoques. Evaluación del aprendizaje (assessment of learning), el cual se interesa en determinar el grado de asimilación de los contenidos del curso por el estudiante. Mientras que la evaluación para el aprendizaje (assessment for learning) busca ser parte fundamental del proceso de enseñanza y aprendizaje, es decir, que los mecanismos que se utilicen sean de utilidad tanto para el profesor como al alumno Scriven (1967SCRIVEN, Michael. The Methodology of Evaluation. In: TYLER, R.; GAGNÉ, R. y SCRIVEN, M. (Ed.). Perspectives of Curriculum Evaluation, AERA Monograph Series on Curriculum Evaluation. Chicago: Rand McNally, 1967. v. 1. p. 39-83.) conforme citado por Taras (2005TARAS, Maddalena. Assessment - summative and formative - some theoretical reflections. en. British Journal of Educational Studies, v. 53, n. 4, p. 466-478, dic. 2005. ISSN 0007-1005, 1467-8527. DOI: 10.1111/j.1467-8527.2005.00307.x. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/abs/10.11...
). Finalmente, la evaluación como aprendizaje (assessment as learning) favorece a que el discente aprenda mientras es evaluado.

Aunado a lo anterior, en las investigaciones de Taras (2005TARAS, Maddalena. Assessment - summative and formative - some theoretical reflections. en. British Journal of Educational Studies, v. 53, n. 4, p. 466-478, dic. 2005. ISSN 0007-1005, 1467-8527. DOI: 10.1111/j.1467-8527.2005.00307.x. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/abs/10.11...
, 2008TARAS, Maddalena. Summative and formative assessment: Perceptions and realities. en. Active Learning in Higher Education, v. 9, n. 2, p. 172-192, jul. 2008. ISSN 1469-7874, 1741-2625. DOI: 10.1177/1469787408091655. Disponible en: <Disponible en: http://journals.sagepub.com/doi/10.1177/1469787408091655 >. Acceso en: 31 ene. 2022.
http://journals.sagepub.com/doi/10.1177/...
) y Lau (2016LAU, Alice Man Sze. ‘Formative good, summative bad?’ - A review of the dichotomy in assessment literature. en. Journal of Further and Higher Education, v. 40, n. 4, p. 509-525, jul. 2016. ISSN 0309-877X, 1469-9486. DOI: 10.1080/0309877X.2014.984600. Disponible en: <Disponible en: http://www.tandfonline.com/doi/full/10.1080/0309877X.2014.984600 >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/full/10.1...
) se hace hincapié en el establecimiento sinérgico de las intenciones de la evaluación. Esto quiere decir que, si bien la evaluación está matizada con base en algún enfoque, los juicios que realice el profesor deberán regirse con base en las intenciones evaluativas. Las cuales se caracterizan por tener una naturaleza distinta entre sí y, a su vez, se complementan para coadyuvar en la toma de decisiones del educador durante la instrucción y en el aprendizaje del discente.

Por tanto, Taras (2005TARAS, Maddalena. Assessment - summative and formative - some theoretical reflections. en. British Journal of Educational Studies, v. 53, n. 4, p. 466-478, dic. 2005. ISSN 0007-1005, 1467-8527. DOI: 10.1111/j.1467-8527.2005.00307.x. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/abs/10.11...
) afirma que la evaluación sumativa y formativa se relacionan entre sí. En este sentido, si bien la evaluación es un proceso único que se apoya de una o varias intenciones, Taras (2005TARAS, Maddalena. Assessment - summative and formative - some theoretical reflections. en. British Journal of Educational Studies, v. 53, n. 4, p. 466-478, dic. 2005. ISSN 0007-1005, 1467-8527. DOI: 10.1111/j.1467-8527.2005.00307.x. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/abs/10.11...
) y Sadler (1989SADLER, D. Royce. Formative assessment and the design of instructional systems. Instructional Science, Springer Science y Business Media LLC, v. 18, n. 2, p. 119-144, jun. 1989.) conforme citado por Taras (2005TARAS, Maddalena. Assessment - summative and formative - some theoretical reflections. en. British Journal of Educational Studies, v. 53, n. 4, p. 466-478, dic. 2005. ISSN 0007-1005, 1467-8527. DOI: 10.1111/j.1467-8527.2005.00307.x. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/abs/10.11...
) sostienen que primero es necesario evaluar la calidad del trabajo antes de que el alumno pueda utilizar la retroalimentación. Es decir, no es posible que la evaluación sea únicamente formativa sin que se emita un juicio sumativo. Por tanto, Black y Wiliam (2018BLACK, Paul y WILIAM, Dylan. Classroom assessment and pedagogy. en. Assessment in Education: Principles, Policy & Practice, v. 25, n. 6, p. 551-575, nov. 2018. ISSN 0969-594X, 1465-329X. DOI: 10.1080/0969594X.2018.1441807. Disponible en: <Disponible en: https://www.tandfonline.com/doi/full/10.1080/0969594X.2018.1441807 >. Acceso en: 31 ene. 2022.
https://www.tandfonline.com/doi/full/10....
) afirman que ambas intenciones de evaluación pueden usar el mismo instrumento de evaluación y los resultados para realizar juicios y retroalimentaciones según sea el caso. Por tanto, la única diferencia entre dichas intenciones recae en los tipos de inferencias que se extraen sobre la base de los resultados de aprendizaje.

En cuanto a la intención diagnóstica de la evaluación, si bien no existe una definición universal, varios autores que la han caracterizado (CSAPÓ y MOLNÁR, 2019CSAPÓ, Benő y MOLNÁR, Gyöngyvér. Online Diagnostic Assessment in Support of Personalized Teaching and Learning: The eDia System. Frontiers in Psychology, v. 10, 2019. ISSN 1664-1078. Disponible en: <Disponible en: https://www.frontiersin.org/article/10.3389/fpsyg.2019.01522 >. Acceso en: 31 ene. 2022.
https://www.frontiersin.org/article/10.3...
). Por tanto, se dice que una evaluación tiene una intención diagnóstica cuando se realizan juicios o inferencias que encapsulan toda la evidencia respecto al conocimiento, habilidades y actitudes que posee el estudiante antes de iniciar un curso o unidad de aprendizaje, mediante el uso de una variedad de métodos y herramientas (JAVIDANMEHR y ANANI SARAB, 2017JAVIDANMEHR, Zahra y ANANI SARAB, Mohammad Reza. Cognitive Diagnostic Assessment: Issues and Considerations. International Journal of Language Testing, v. 7, n. 2, p. 73-98, oct. 2017. ISSN 2476-5880. Disponible en: <Disponible en: https://www.ijlt.ir/article_114441.html >. Acceso en: 31 ene. 2022.
https://www.ijlt.ir/article_114441.html...
; TAN GEOK SHIM; SHAKAWI y AZIZAN, 2017TAN GEOK SHIM, George; SHAKAWI, Abang Mohammad Hudzaifah Abang y AZIZAN, Farah Liyana. Relationship between Students’ Diagnostic Assessment and Achievement in a Pre-University Mathematics Course. Journal of Education and Learning, v. 6, n. 4, pág. 364, nov. 2017. ISSN 1927-5269, 1927-5250. DOI: 10.5539/jel.v6n4p364. Disponible en: <Disponible en: http://www.ccsenet.org/journal/index.php/jel/article/view/69209 >. Acceso en: 31 ene. 2022.
http://www.ccsenet.org/journal/index.php...
).

El estudiante universitario. En cuanto a las características de la población de este estudio, resulta necesario partir de la definición de la Andragogía. Según Pereira (1990PEREIRA, Manuel Castro. La Conformación de un Modelo de Desarrollo Curricular con Base en los Principios de la Ciencia Andragógica. Ponencia, Caracas, Venezuela, 1990.) conforme citado por Castillo Silva (2018CASTILLO SILVA, Flavio de Jesús. Andragogía, andragogos y sus aportaciones. Voces de la Educación, ago. 2018. Disponible en: <Disponible en: https://hal.archives-ouvertes.fr/hal-02528598 >. Acceso en: 31 ene. 2022.
https://hal.archives-ouvertes.fr/hal-025...
, p. 69) es (…) “”una de las Ciencias de la Educación que tiene por finalidad facilitar los procesos de aprendizaje en el adulto a lo largo de toda su vida””. La principal diferencia respecto a la Pedagogía es que en ésta existe un proceso de Enseñanza-Aprendizaje, mientras que en la Andragogía se promueve un proceso de Orientación-Aprendizaje. Esto implica que el aprendiz adulto construye su aprendizaje y, el facilitador, atiende y orienta a los participantes para que puedan asegurar sus aprendizajes.

Knowles (2006KNOWLES, Malcolm S. Andragogia El Aprendizaje de Los Adultos. México: Oxford University Press, 2006.) conforme citado por Castillo Silva (2018CASTILLO SILVA, Flavio de Jesús. Andragogía, andragogos y sus aportaciones. Voces de la Educación, ago. 2018. Disponible en: <Disponible en: https://hal.archives-ouvertes.fr/hal-02528598 >. Acceso en: 31 ene. 2022.
https://hal.archives-ouvertes.fr/hal-025...
, p. 65) afirma que ””para definir el término aprendiz adulto resulta importante considerar cuatro áreas: biológica, legal, social y psicológica””. No obstante, para determinar cuándo el alumno debe ser tratado como adulto, Knowles (1980KNOWLES, Malcolm S. The modern practice of adult education: from pedagogy to andragogy. Chicago: Association Press; Follett Pub. Co, 1980.) conforme citado por Domenech (2015DOMENECH, Iluminada Sánchez. La andragogía de Malcom Knowles: Teoría y tecnología de la educación de adultos. 2015. Tesis (Doctorado) - Universidad Cardenal Herrera.) responde a dos de las cuatro áreas, la social y la psicológica. De acuerdo con Domenech (2015DOMENECH, Iluminada Sánchez. La andragogía de Malcom Knowles: Teoría y tecnología de la educación de adultos. 2015. Tesis (Doctorado) - Universidad Cardenal Herrera.), las características del estudiante adulto se articulan con los supuestos o principios andragógicos, los cuales son a) la necesidad de saber, b) el autoconcepto del alumno, c) el papel de la experiencia, d) la disposición para aprender, e) la orientación al aprendizaje y f) la motivación.

Como se ha visto, en el área educativa surgen constantemente nuevas prácticas para favorecer y promover el aprendizaje. Así como tecnologías emergentes que coadyuvan en la resolución de necesidades en la educación, tanto en ámbitos presenciales como a distancia. El AA es una de las tecnologías educativas que actualmente se sitúa en la curva ascendente en el Hype Cycle for Emerging Technologies del 2011, gracias a su uso y los beneficios que ofrece en los procesos de enseñanza y aprendizaje (EDUCAUSE (ASSOCIATION), 2020EDUCAUSE (ASSOCIATION). 2020 EDUCAUSE Horizon Report : Teaching and Learning Edition. Louisville, CO USA: [s.n.], 2020. ISBN 9781933046037. Disponible en: <https://library.educause.edu/-/media/files/library/2020/3/2020_horizon_report_pdf.pdf>.
https://library.educause.edu/-/media/fil...
). No obstante, resulta necesario generar estudios para vislumbrar cómo mejoran el rendimiento de los estudiantes y reducen las brechas de aprendizaje en diferentes contextos.

Anderson (2019ANDERSON, Jeremy. Busting the Top 5 Myths about Adaptive Learning. [S.l.: s.n.], 2019. Disponible en: <Disponible en: http://blog.realizeitlearning.com/blog/top-5-myths-about-adaptive-learning >. Acceso en: 2 feb. 2022.
http://blog.realizeitlearning.com/blog/t...
), Charles Dziuban y col. (2017DZIUBAN, Charles y col. Adaptive Learning: A Tale of Two Contexts. Current Issues in Emerging eLearning, v. 4, n. 1, mar. 2017. ISSN 2373-6089. Disponible en: <https://scholarworks.umb.edu/ciee/vol4/iss1/3>.
https://scholarworks.umb.edu/ciee/vol4/i...
), Charles D. Dziuban y col. (2016DZIUBAN, Charles D. y col. Adaptive Learning in Psychology: Wayfinding in the Digital Age. en. Online Learning, v. 20, n. 3, p. 74-96, sep. 2016. ISSN 1939-5256. Disponible en: <Disponible en: https://eric.ed.gov/?id=EJ1113343 >. Acceso en: 31 ene. 2022.
https://eric.ed.gov/?id=EJ1113343...
), Essa y Laster (2017ESSA, Alfred y LASTER, Stephen. Bloom’s 2 Sigma Problem and Data-Driven Approaches for Improving Student Success. In: FELDMAN, Robert S. (Ed.). The First Year of College. 1. ed. [S.l.]: Cambridge University Press, dic. 2017. p. 212-246. ISBN 9781316811764 9781107176287 9781316629383. DOI: 10.1017/9781316811764.009. Disponible en: <Disponible en: https://www.cambridge.org/core/product/identifier/9781316811764%23CN-bp-8/type/book_part >. Acceso en: 31 ene. 2022.
https://www.cambridge.org/core/product/i...
) y Alexander y col. (2019ALEXANDER, Bryan y col. EDUCAUSE Horizon Report: 2019 Higher Education Edition. Louisville, CO, 2019. ISBN 978-1-933046-02-0.) afirman que el uso del AA en la educación superior es un área emergente de estudio. Ya que todavía hay evidencia limitada sobre cómo los sistemas adaptativos mejoran el rendimiento de los estudiantes y reducen las brechas de aprendizaje. Boyce y O’Halloran (2020BOYCE, Steven y O’HALLORAN, Joyce. Active Learning in Computer-based College Algebra. en. PRIMUS, v. 30, n. 4, p. 458-474, abr. 2020. ISSN 1051-1970, 1935-4053. DOI: 10.1080/10511970.2019.1608487. Disponible en: <Disponible en: https://www.tandfonline.com/doi/full/10.1080/10511970.2019.1608487 >. Acceso en: 31 ene. 2022.
https://www.tandfonline.com/doi/full/10....
) mencionan que, en los cursos de matemáticas a nivel superior, es necesario integrar herramientas de AA junto con el aprendizaje activo para favorecer el aprendizaje procedimental y conceptual de saberes matemáticos. Para ello, resulta necesario recurrir a la andragogía, puesto que contribuye en el proceso de aprendizaje de un adulto. Asimismo, favorece la adaptación de alumnos adultos a un lugar de trabajo en constante cambio (CRETCHLEY y CASTLE, 2001CRETCHLEY, Gail y CASTLE, Jane. OBE, RPL and adult education: good bedfellows in higher education in South Africa? en. International Journal of Lifelong Education, v. 20, n. 6, p. 487-501, nov. 2001. ISSN 0260-1370, 1464-519X. DOI: 10.1080/02601370110088463. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1080/02601370110088463 >. Acceso en: 31 ene. 2022.
http://www.tandfonline.com/doi/abs/10.10...
; MERRIAM, 2001MERRIAM, Sharan B. Andragogy and Self-Directed Learning: Pillars of Adult Learning Theory. New Directions for Adult and Continuing Education, v. 2001, n. 89, pág. 3, 2001. ISSN 10522891, 15360717. DOI: 10.1002/ace.3. Disponible en: <Disponible en: https://onlinelibrary.wiley.com/doi/10.1002/ace.3 >. Acceso en: 31 ene. 2022.
https://onlinelibrary.wiley.com/doi/10.1...
).

Luego de lo anteriormente expuesto, se planteó la necesidad de responder a través de una investigación de qué manera una prueba diseñada desde el enfoque de aprendizaje adaptativo facilita realizar un diagnóstico, que permita delinear trayectorias personalizadas de aprendizaje. Para efectos de este estudio, el proceso de aprendizaje y evaluación adaptativos se realizó alrededor de las competencias de álgebra para estudiantes de educación superior de diversas disciplinas.

2 Método

Esta investigación se realizó desde un enfoque de estudio exploratorio González y Fahara (2014GONZÁLEZ, Jaime Ricardo Valenzuela y FAHARA, Manuel Flores. Fundamentos de investigación educativa. Volumen 1. Primera edición. [S.l.]: Editorial Digital del Tecnológico de Monterrey, nov. 2014.). La investigación se circunscribe en una institución de educación superior del sur de México. En esta se ofrecen programas educativos del área de ciencias exactas. En el primer semestre se ofertan asignaturas para nivelar los conocimientos básicos, como es el caso de álgebra intermedia. Si algún estudiante no lo aprueba, en el siguiente semestre se oferta la asignatura en la modalidad por acompañamiento o repetición del curso. En ambos, se aplica un diagnóstico para ubicar al estudiante en los contenidos que le faltan precisar.

2.1 Participantes

En esta investigación participaron tres profesores expertos en Matemáticas y 46 estudiantes con atributos particulares: estar inscritos en el curso de álgebra intermedia por acompañamiento (20) o repetición del curso (26) de los programas de estudio de Licenciatura en Actuaría, Licenciatura en Ciencias de las Computación, Licenciatura en Ingeniería de Software, Licenciatura en Ciencias de la Computación y Licenciatura en Enseñanza de las Matemáticas.

2.2 Instrumentos

El objetivo de la investigación se centró en el desarrollo y aplicación un instrumento diagnóstico, por medio de la herramienta lección de MOODLE, para conocer las fortalezas y áreas de oportunidad de los estudiantes desde la evaluación adaptativa (DZIUBAN, C. y col., 2017DZIUBAN, Charles y col. Adaptive Learning: A Tale of Two Contexts. Current Issues in Emerging eLearning, v. 4, n. 1, mar. 2017. ISSN 2373-6089. Disponible en: <https://scholarworks.umb.edu/ciee/vol4/iss1/3>.
https://scholarworks.umb.edu/ciee/vol4/i...
; DZIUBAN, C. D. y col., 2016DZIUBAN, Charles D. y col. Adaptive Learning in Psychology: Wayfinding in the Digital Age. en. Online Learning, v. 20, n. 3, p. 74-96, sep. 2016. ISSN 1939-5256. Disponible en: <Disponible en: https://eric.ed.gov/?id=EJ1113343 >. Acceso en: 31 ene. 2022.
https://eric.ed.gov/?id=EJ1113343...
).

Para el desarrollo del examen diagnóstico de álgebra, se tomó como base la Nueva taxonomía (MARZANO y KENDALL, 2008MARZANO, Robert J. y KENDALL, John S. Designing & assessing educational objectives: applying the new taxonomy. Thousand Oaks: Corwin Press, 2008. ISBN 9781412940344 9781412940351.), la planeación didáctica del curso de álgebra intermedia, así como el desagregado de niveles de dificultad. Respecto al nivel taxonómico, Marzano y Kendall (2008MARZANO, Robert J. y KENDALL, John S. Designing & assessing educational objectives: applying the new taxonomy. Thousand Oaks: Corwin Press, 2008. ISBN 9781412940344 9781412940351.) describen al Dominio de Conocimiento (DC) como aquello que hace alusión al proceso de pensamiento que permite su aprendizaje, y se divide de la siguiente manera (p. 9):

  • Información. En la base de la jerarquía de este primer tipo de conocimiento están ubicadas las palabras que conforman el nivel denominado vocabulario, hechos, secuencias de eventos, generalizaciones o principios.

  • Procedimientos mentales. Es también conocido como conocimientos procedimentales que se logran atender mediante un proceso de memorización y familiarización que emana de la experiencia. Este se subdivide en reglas simples, algoritmos, tácticas y macroprocedimientos.

En cuanto a los Niveles de Procesamiento (NP) está conformado por los tres sistemas: self, metacognitivo y cognitivo. En particular, el sistema cognitivo tiene los niveles (p. 4 y 5):

  • Nivel 1 Recuperación. Activación y transferencia del conocimiento de la memoria permanente a la memoria del trabajo, donde se puede ser conscientemente procesada. Los procesos que conforman la recuperación son: reconocimiento y recuerdo o ejecución.

  • Nivel 2 Comprensión. Es el encargado de traducir el conocimiento en las formas adecuadas para que su almacenaje en la memoria permanente se produzca. Los procesos que conforman la comprensión son integración y simbolización.

  • Nivel 3 Análisis. Corresponde a la extensión razonada del conocimiento y va más allá de la identificación de lo esencial y lo no esencial, que son funciones propias de la comprensión. Los procesos que conforman el análisis son asociación, clasificación, detención del error, generalización y especificación.

  • Nivel 4 Utilización del conocimiento. Este se presenta cuando la persona se ve en la necesidad de cumplir con determinadas tareas y, estas, se pueden considerar como las avenidas por donde corre el conocimiento. Está conformado por cuatro categorías, la toma de decisiones, resolución de problemas, experimentación e investigación.

Estos niveles que enuncia la Nueva taxonomía (MARZANO y KENDALL, 2008MARZANO, Robert J. y KENDALL, John S. Designing & assessing educational objectives: applying the new taxonomy. Thousand Oaks: Corwin Press, 2008. ISBN 9781412940344 9781412940351.) permitieron clasificar las preguntas de acuerdo con el nivel de desempeño y analizar las diferentes trayectorias que subyacen de la vista adaptativa, combinando el nivel taxonómico y de dificultad para cada unidad. Para efectos de emitir un resultado sobre el alcance en el desarrollo de las competencias, se determinaron a priori los siguientes escenarios:

  1. El estudiante responde correctamente todas las opciones (respuesta y procedimiento). De ser así, un ítem se omite o varios se omiten, de acuerdo con la ruta crítica establecida (ver la primera opción de la tabla).

  2. El estudiante responde erróneamente (tanto la opción correcta como el procedimiento) todas las opciones. En este caso, responde todos los reactivos, incluyendo los que no están en la ruta crítica.

  3. El estudiante responde, de manera aleatoria, correcta e incorrectamente las opciones. En este caso, de igual manera responde todos los ítems de la prueba diagnóstica.

2.3 Procedimientos y estrategias de análisis

La recolección y procesamiento de datos involucra un estudio distribuido en cuatro fases:

  1. Desarrollo del diagnóstico, las rutas críticas y solicitud de permiso a la institución para la participación de profesores y estudiantes.

  2. Convocatoria a estudiantes y profesores a participar en la evaluación de los reactivos y el pilotaje del diagnóstico.

  3. Aplicación del diagnóstico en tres cursos de la asignatura de Álgebra Intermedia. Estos se conforman por dos grupos de repetición de curso y un grupo por acompañamiento. Se califican los resultados y se establecen las rutas de aprendizaje para cada estudiante. Para efectos de esta investigación, se eligieron dos grupos de estudiantes, conformados por cinco con calificación alta y cinco con calificación baja.

  4. Dar a conocer a los estudiantes sus resultados del diagnóstico y las rutas de aprendizaje personalizadas. Además, se realizan las entrevistas con profesores y estudiantes.

3 Resultados

Para el desarrollo de la prueba diagnóstica se consideraron tres elementos: la planeación didáctica de la asignatura de álgebra intermedia, la taxonomía de Marzano y Kendall (2008MARZANO, Robert J. y KENDALL, John S. Designing & assessing educational objectives: applying the new taxonomy. Thousand Oaks: Corwin Press, 2008. ISBN 9781412940344 9781412940351.) y los niveles de dificultad establecidos por la academia de álgebra (nivel 1, 2 y 3). Se revisó por unidad, las competencias y los resultados de aprendizaje 1 1 El resultado de aprendizaje es una competencia de menor nivel y precisa en cierta contenido. Competencia (uady2012):es la integración dinámica de conocimientos, habilidades, actitudes y valores que permitan al egresado desempeñarse como ciudadano autónomo y flexible en una función, actividad o tarea profesional o social, a lo largo de la vida. para cada contenido. A continuación, se comparten ejemplos de tres reactivos, uno por cada nivel de dificultad y resaltando los tres elementos descritos con anterioridad.

En las Tablas se comparten tres reactivos de la Unidad II, los cuales corresponden al resultado de aprendizaje realizar correctamente operaciones con expresiones racionales. Por lo que, para medirlo, se consideraron cuatro reactivos de nivel 1, los cuales corresponden a simplificación, multiplicación, división y suma-resta de expresiones racionales. Mientras que, para los niveles 2 y 3, un reactivo para cada uno. De tal manera que, para el nivel 2, se favorecen aspectos conceptuales de las expresiones racionales y, para el nivel 3, un problema en el cual la expresión racional está implícita. Finalmente, las opciones de respuestas se diseñaron considerando las respuestas de estudiantes de cursos pasados. En la Tabla 2 se presenta un ejercicio de simplificación de expresiones racionales (sencillas), el cual corresponde a una instrucción directa y solo requiere de cálculos sencillos (nivel 1). Por tanto, el estudiante tendrá que utilizar cierta información o principios, así como de reglas simples (dominios del conocimiento), para el recuerdo o ejecución (niveles de procesamiento) de procedimientos.

Tabla 2
Reactivo 1 de la Unidad II y de nivel 1

En la Tabla 3 se comparte un ejercicio que involucra monomios con exponentes literales para obtener el grado absoluto y el coeficiente, por lo que, corresponde a la resolución de uno o más operaciones, aplicando propiedades y definiciones (nivel 2). Por tanto, el estudiante tendrá que utilizar cierta información o principios, así como algoritmos (dominios del conocimiento), para el recuerdo o ejecución (niveles de procesamiento) de ciertos procedimientos.

Tabla 3
Reactivo 5 de la Unidad II y de nivel 2

En la Tabla 4 se tiene un problema intramatemático que involucra varios aspectos conceptuales y procedimentales de la Unidad I y II, por lo que, se requiere la comprensión del problema y el uso de conocimientos previos (nivel 3). Por tanto, el estudiante tendrá que utilizar macro procedimientos (dominios del conocimiento), para la resolución de problemas (niveles de procesamiento).

Tabla 4
Reactivo 6 de la Unidad II y de nivel 3

Después de diseñar todos los reactivos para cada unidad, se creó la ruta crítica, con diferentes posibles escenarios (ver tabla de trayectorias). La cual tiene como intención plantear una vista adaptativa para el tratamiento y emisión de trayectorias y, con ello, emitir un resultado sobre el alcance en el desarrollo de competencias por parte de los estudiantes (ver Figura 3). Por tanto, se eligieron reactivos de diferentes niveles de dificultad, pero dada la competencia de la asignatura, estos fueron más de nivel 1 y 2. Mientras que, los reactivos de nivel 3, se usaron para identificar a los estudiantes que tengan un nivel de dominio superior.

Figura 3
Resultados del grupo de diez estudiantes, en la prueba diagnóstica.

Cabe recalcar que se identificaron ejercicios que requerían mayor especificidad para lograr identificar las áreas de oportunidad y las habilidades que sí dominan los estudiantes. Esto únicamente ocurrió en la Unidad I, específicamente en los reactivos del uno al cuatro y el sexto. Puesto que se involucran operaciones o definiciones de cursos básicos que, incluso, podrían nublar el juicio del profesor al momento de crear la trayectoria de aprendizaje personalizada. Es por ello por lo que se presentarán resultados con distintas intencionalidades. Por un lado, para efectos de la trayectoria o ruta de aprendizaje, se incluyeron los resultados obtenidos en los reactivos adicionales de la Unidad I y, por otro lado, para efectos del análisis psicométrico, se consideró la prueba diagnóstica sin dichos reactivos adicionales.

3.1 Resultados del análisis del diagnóstico y las trayectorias de aprendizaje.

Es preciso recalcar que, dado que no se encontró algún sistema de aprendizaje adaptativo centrado en competencias, se utilizó la herramienta lección de MOODLE para programar la prueba diagnóstica, ya que permite un enfoque de adaptabilidad en los reactivos, aunque su principal función no es esta. De los 46 estudiantes que conformaron la muestra, únicamente 27 presentaron la prueba diagnóstica y la terminaron. Por tanto, para el análisis de los resultados del diagnóstico y la trayectoria de aprendizaje personalizada, se seleccionó un grupo de 10 estudiantes, de tal forma que, cinco tengan la calificación más alta y, los otros cinco, la calificación más baja. De dicho grupo se obtuvieron los siguientes resultados (ver Figura 3).

La calificación más alta, en la escala de 0 a 100, es de 76 (51 respuestas correctas) y la más baja de 24 (16 respuestas correctas). La moda fue 67, lo que equivale a 45 reactivos contestados de manera correcta. No obstante, en cuanto al promedio de las calificaciones y el dato central del grupo, se tiene una cantidad muy similar, siendo 53 y 54; la cual equivale a tener entre 29 y 43 reactivos correctos. Posteriormente a la determinación de las calificaciones, se procedió a desarrollar manualmente las trayectorias de aprendizaje personalizadas Newman (2013NEWMAN, Adam. Learning to Adapt: A Case for Accelerating Adaptive Learning in Higher Education. [S.l.], 2013. Disponible en: <https://tytonpartners.com/accelerating-adaptive-learning-in-higher-education/>.
https://tytonpartners.com/accelerating-a...
apud MURRAY y PEREZ, 2015MURRAY, Meg y PEREZ, Jorge. Informing and Performing: A Study ComparingAdaptive Learning to Traditional Learning. Informing Science: The International Journal of an Emerging Transdicipline, v. 18, p. 111-125, jul. 2015. Disponible en: <https://digitalcommons.kennesaw.edu/facpubs/3436>.
https://digitalcommons.kennesaw.edu/facp...
); Moskal, Carter y Johnson (2017MOSKAL, Patsy; CARTER, Don y JOHNSON, Dale. 7 Things You Should Know About Adaptive Learning. [S.l.], 2017. Disponible en: <https://library.educause.edu/resources/2017/1/7-things-you-should-know-about-adaptive-learning>.
https://library.educause.edu/resources/2...
apud PICCIANO, 2019PICCIANO, Anthony. Artificial Intelligence and the Academy’s Loss of Purpose. Online Learning, v. 23, n. 3, sep. 2019. ISSN 2472-5730, 2472-5749. DOI: 10.24059/olj.v23i3.2023. Disponible en: <Disponible en: https://olj.onlinelearningconsortium.org/index.php/olj/article/view/2023 >. Acceso en: 31 ene. 2022.
https://olj.onlinelearningconsortium.org...
), teniendo como eje central el logro de las competencias y resultados de aprendizajes.

Del proceso que se llevó a cabo para desarrollar las trayectorias de aprendizaje personalizadas, es preciso recalcar que resultó necesario organizar cada unidad por resultados de aprendizaje y, estos a su vez, por reactivos que corresponden a cada una, resaltando la ruta crítica por colores según el nivel de dificultad (ver Figura 4). Esto ayudó a identificar con mayor facilidad las competencias que se dominan y las que no.

Figura 4
Unidad I organizada por resultados de aprendizaje y ruta crítica.

Para decidir las competencias que sí se lograron, se consideró el cumplimiento de la ruta crítica (los colores rojo, amarillo y verde); cabe recalcar que dichas competencias se consideraban logradas desde que cumplan con el nivel 1 (rojo), nivel 1 y nivel 2 (amarillo) o con los tres niveles. De lo contrario, para no errar, se revisaron los reactivos que no corresponden a la ruta crítica (por ejemplo, P5, P13 y P15) y los procedimientos desarrollados en cada reactivo. Por ejemplo, el caso del último renglón de la (tabla de excel), se observa que se tuvo incorrecto el reactivo 6 (del tema 1.1), pero logró resolver correctamente el reactivo 2, el cual corresponde al mismo contenido, pero en nivel 1.

En cuanto a la creación de la trayectoria de aprendizaje personalizada, se desarrolló de tal manera que permitiera al estudiante identificar lo que le falta por aprender, pero también el nivel de dificultad que domina de ciertos resultados de aprendizaje, tomando como referencia los niveles de dominio del modelo educativo de dicha institución (ver Figuras 5 y 6). De tal manera que, el rojo corresponde a “insuficiente”, el color ámbar a “suficiente” esto es nivel 1, amarillo a “satisfactorio” esto es nivel 2 y verde a “sobresaliente” esto es nivel 3.

Figura 5
Ejemplo de trayectoria de aprendizaje personalizada del Alumno 1.

Figura 6
Ejemplo de trayectoria de aprendizaje personalizada del Alumno 2.

Al crear dichas trayectorias, se esperaba obtener un comportamiento lineal creciente de las competencias no logradas. Esto debido a que, el nivel de complejidad y exigencia matemática de las unidades son distintas, de manera que aumenta conforme avanzan las unidades. Sin embargo, los resultados no se presentaron así. Por el contrario, se obtuvieron trayectorias muy variadas, con dificultades de dominio desde la Unidad I, que se iban incrementando en las Unidades III y IV.

3.2 Análisis total de los resultados de la prueba diagnóstica.

Para el análisis completo de los resultados obtenidos en la prueba diagnóstica adaptativa, se consideró la prueba original, sin incluir los reactivos que se adicionaron a la Unidad I. Es decir, se hizo el análisis de las respuestas realizadas por los 27 alumnos a la prueba de 67 reactivos. De esto se obtuvo que, el promedio de las calificaciones en base 100 es de 47, el cual equivale al 48% de reactivos correctos. Siendo 43 la calificación más repetida en la muestra, con el 43.3% de reactivos correctos. No obstante, en comparación con los datos obtenidos del grupo de 10 alumnos, la calificación más alta sigue siendo 76 y la más baja, por el contrario, bajó a 19 puntos (ver Figura 7).

Figura 7
Resultados de la prueba diagnóstica del total de alumnos.

En cuanto a los niveles de dificultad alcanzados en cada una de las unidades, se observó que un grupo reducido de estudiantes alcanzaron los niveles 2 y 3. Específicamente, en la Unidad I que corresponde a productos notables y factorización, se obtuvo en el resultado de aprendizaje 1 (color azul) que, 11 alumnos lo dominan en un nivel 1, 6 en un nivel 2 y 5 en un nivel 3. Mientras que el resultado de aprendizaje 2 (color café), 10 estudiantes lo dominan en un nivel 1, 4 en un nivel 2 y 3 en un nivel 3 (ver Figura 8). No obstante, la unidad que se observó con el dominio bajo de las competencias es la cinco, que corresponde a ecuaciones exponenciales y logarítmicas, teniéndose únicamente 4 alumnos con un nivel de dominio 1 (ver Figura 9).

Figura 8
Niveles de dominio alcanzados en la Unidad I.

Figura 9
Niveles de dominio alcanzados en la Unidad II.

En conclusión, se observa que el grupo de estudiantes tiene un bajo nivel de dominio de las competencias algebraicas, manifestando mayor deficiencia de aprendizaje en las unidades III y V, que corresponden a números complejos y ecuaciones exponenciales-logarítmicas, respectivamente. Además, se observaron carencias de dominio con respecto a temas básicos que no corresponden con los contenidos de la asignatura. Asimismo, dado que en la institución de educación superior se tiene como calificación mínima aprobatoria el 70, únicamente un alumno de los 27, aprobó la prueba diagnóstica. Es decir, dicho alumno manifestó que domina la competencia de la asignatura en un nivel suficiente, es decir, en un nivel 1, ya que obtuvo una puntuación de 76.

3.3 Análisis psicométrico de la prueba diagnóstica

Para medir la consistencia interna del instrumento diagnóstico, se usó el coeficiente alfa de Cronbach y se obtuvo el valor de 0.85. Dado que el valor es mayor que 0.8, se concluye que dicho instrumento tiene un nivel adecuado de consistencia interna. En cuanto al comportamiento de los datos, se obtuvo que la mayoría de estos están muy concentrados a la media, la cual es 47, con un grado de asimetría ligeramente a la derecha (ver Figuras 10 y 11). Así, la mayoría de las calificaciones obtenidas en el diagnóstico oscilan entre 35 y 59, teniendo algunos datos diametrales como son 19 y 76.

Figura 10
Análisis estadístico de la prueba diagnóstica.

Figura 11
Análisis estadístico de la prueba diagnóstica.

Respecto al índice de discriminación de los ítems de la prueba diagnóstica, de los 67 reactivos, 32 puntuaron mayor a 0.39, mientras que 19 puntuaron entre 0.20 y 0.29, 9 entre 0 y 0.19, y 7 menor a 0.01. Mientras que, el índice de dificultad reflejó que únicamente 18 reactivos corresponden con el nivel de dificultad que fueron creados y que, en general, la prueba se encuentra entre 0.30 y 0.39.

No obstante, al comparar dichos resultados con el análisis de distractores, se observaron aspectos que no concuerdan. Por ejemplo, algunos ejercicios que corresponden al nivel 1, se observaron como de nivel 2 o 3 y esto, conllevó que, se tengan que revisar profundamente o descartar definitivamente, aunque correspondan a aspectos conceptuales o de procedimientos elementales. Por tanto, dado que el grupo de estudiantes que contestaron la prueba corresponde a aquellos con mayores deficiencias conceptuales, posiblemente sea el motivo por el cual se obtuvieron dichos resultados.

En este orden de ideas, las futuras mejoras para el instrumento se centran en cuanto a la redacción adecuada de la base de la pregunta, distractores y respuesta correcta. No unir los resultados de aprendizaje, para precisar con exactitud el demonio de cada una y, a su vez, aplicar el instrumento en cada unidad para disminuir la carga cognitiva en el estudiante. En cuanto a la trayectoria de aprendizaje, es necesario precisar con mayor exactitud el nivel de dificultad que se domina por cada resultado de aprendizaje, así como el nivel que deberá lograr.

3.4 Resultados adicionales

Se observó una correlación entre la trayectoria de aprendizaje personalizada con el desempeño durante el curso. En cuanto a que, si dicha trayectoria se comporta de manera esperada, es decir, lineal y creciente, se tiene una alta probabilidad de lograr las competencias esperadas de la asignatura. De lo contrario, el desempeño no es alentador.

4 Conclusiones

A lo largo de este trabajo se ha investigado cómo una prueba diagnóstica, con enfoque adaptativo, contribuye a la determinación de trayectorias de aprendizaje personalizadas. La intención de este tipo de instrumentos es que conlleven a estimar el nivel de desarrollo de competencias relacionadas con el dominio del álgebra, para un nivel educativo superior. Por tanto, se observó que, mediante la prueba diseñada desde el enfoque de aprendizaje adaptativo, es viable realizar un diagnóstico personalizado y diferenciado. Es decir, es posible identificar la competencia y el nivel que se domina, así como lo que falta por dominar; con base en los errores conceptuales o procedimentales que manifieste el estudiante. Dicha información se comparte en las trayectorias de aprendizaje personalizadas, por medio del cual se precisa la instrucción y se identifica el posible avance que tendrá el discente en el curso.

En este orden de ideas, estudiar la evaluación con intención diagnóstica, desde el enfoque del aprendizaje adaptativo, ayudó a entender cómo diseñar trayectorias de aprendizaje personalizadas. Estas trayectorias se conforman por el dominio de las competencias, el nivel de dificultad que lo hace y los contenidos que faltan por atender. Asimismo, permitió identificar cómo dichas trayectorias coadyuvan en el proceso de aprendizaje del discente, ya que facilita un listado de necesidades a considerar para lograr el nivel de competencia esperado en la asignatura.

En cuanto al grado de confiabilidad del instrumento, se obtuvo que este tiene un nivel adecuado de fiabilidad. Es decir, se puede afirmar que el instrumento permite de manera consistente estimar similares resultados en poblaciones con características semejantes. No obstante, en el proceso de examinación estadístico de los reactivos tanto el nivel de discriminación y algunos distractores requieren de más aplicaciones para poder tener un estimado más amplio para realizar los ajustes pertinentes. Esto debido a que no todos los reactivos ni distractores obtuvieron valores elevados en la evaluación de discriminación y dificultad.

En lo que concierne a los niveles de dominio, con respecto a las cinco unidades del curso, se observó un decrecimiento conforme se avanzaba en cada unidad. De tal forma que, en la Unidad 1 se ubicaron a 11 alumnos en un nivel 1, 6 en un nivel 2 y 5 en un nivel 3, mientras que la Unidad 5 solamente a 4 estudiantes en el nivel 1. Por tanto, se puede inferir que el dominio de las competencias de álgebra en este grupo se ubica en un nivel bajo. Sin embargo, el haber obtenido una trayectoria personalizada, se estima, coadyuvará a que los estudiantes puedan tener un guía completa sobre su ruta de dominio de las competencias en esta disciplina, en aras de lograr su dominio en un futuro cercano.

Algunas limitantes del estudio fueron haber podido contar con una sola población estudiantil, lo cual no permite hacer generalizaciones sobre los resultados. Otra limitante fue que casi el 50% de los estudiantes no terminaron la prueba, lo cual redujo el número de resultados para estimar los estadísticos con base en los resultados.

Para investigaciones futuras, en cuanto a pruebas diagnósticas con enfoque adaptativo, resulta importante contar con una población estudiantil con características similares, es decir, que tengan competencias que dominan, como las que necesitan atender, en cada una de las unidades. De tal forma que se logre identificar de manera adecuada las áreas de mejora y fortalezas del instrumento.

Respecto a la implementación del instrumento y la creación de los reactivos, se recomienda que se realice de manera paulatina y con apoyo de algún software especial para AA. La función de este software debe ser que, conforme se haga el diagnóstico, se procesen los datos para delinear las trayectorias de aprendizaje personalizadas. Por lo cual, se recomienda que se aplique en cada inicio de unidad, con el fin de precisar la instrucción.

En cuanto a la creación de reactivos, resulta necesario crear un banco de preguntas que permita distinguirlas por su nivel taxonómico. De tal manera que permita variar los números en los problemas matemáticos y la asignación de distintos reactivos por estudiante, pero con el mismo grado de dificultad; para disminuir el plagio entre los discentes y entre las futuras generaciones.

Dicho lo anterior, las aportaciones de este estudio al conocimiento del aprendizaje adaptativo se centran especialmente en: a) la sistematización del proceso de análisis de los datos, para establecer trayectorias de aprendizaje enfocadas en competencias de pregrado; b) evidencia empírica de cómo y de qué manera se favorece la integración de este con la evaluación diagnóstica para coadyuvar en el desarrollo de competencias de álgebra; c) el campo fértil para estudiar sistemas de aprendizaje adaptativo, enfocados en competencias del área de ciencias exactas de pregrado. Mientras que, en lo que respecta al conocimiento de la evaluación del aprendizaje (learning assessment), específicamente la intención diagnóstica, son: a) evidencia empírica de que, los datos que se obtienen de dichos juicios son de gran utilidad para el discente, como para el profesor; b) cómo usar la evaluación diagnóstica en entornos a distancia y digitales, usando tecnología educativa (aprendizaje adaptativo) y la taxonomía de Marzano y Kendall (2008MARZANO, Robert J. y KENDALL, John S. Designing & assessing educational objectives: applying the new taxonomy. Thousand Oaks: Corwin Press, 2008. ISBN 9781412940344 9781412940351.); c) cómo un instrumento con enfoque de aprendizaje adaptativo, favorece realizar un diagnóstico personalizado y diferenciado.

Con base en lo anterior, emergen preguntas que permitirán continuar con estudios futuros em esta misma línea: ¿de qué manera las intenciones de la evaluación contribuyen a un aprendizaje adaptativo de competencias matemáticas? ¿De qué manera una actividad electrónica diseñada desde el enfoque de aprendizaje adaptativo favorece el aprendizaje a distancia y digital, para la adquisición de competencias matemáticas que contribuyan a una cultura de paz? En cuanto a formación docente ¿cómo favorecer el uso del aprendizaje adaptativo en docentes en formación inicial, para enriquecer las prácticas evaluativas que contribuyan al desarrollo de competencias matemáticas? ¿De qué manera las intenciones de la evaluación favorecen el aprendizaje adaptativo, para determinar prácticas docentes que contribuyan al logro de saberes matemáticos en una modalidad a distancia y digital?

Referencias

  • ALEXANDER, Bryan y col. EDUCAUSE Horizon Report: 2019 Higher Education Edition. Louisville, CO, 2019. ISBN 978-1-933046-02-0.
  • ANDERSON, Jeremy. Busting the Top 5 Myths about Adaptive Learning. [S.l.: s.n.], 2019. Disponible en: <Disponible en: http://blog.realizeitlearning.com/blog/top-5-myths-about-adaptive-learning >. Acceso en: 2 feb. 2022.
    » http://blog.realizeitlearning.com/blog/top-5-myths-about-adaptive-learning
  • BLACK, Paul y WILIAM, Dylan. Classroom assessment and pedagogy. en. Assessment in Education: Principles, Policy & Practice, v. 25, n. 6, p. 551-575, nov. 2018. ISSN 0969-594X, 1465-329X. DOI: 10.1080/0969594X.2018.1441807. Disponible en: <Disponible en: https://www.tandfonline.com/doi/full/10.1080/0969594X.2018.1441807 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1080/0969594X.2018.1441807» https://www.tandfonline.com/doi/full/10.1080/0969594X.2018.1441807
  • BOYCE, Steven y O’HALLORAN, Joyce. Active Learning in Computer-based College Algebra. en. PRIMUS, v. 30, n. 4, p. 458-474, abr. 2020. ISSN 1051-1970, 1935-4053. DOI: 10.1080/10511970.2019.1608487. Disponible en: <Disponible en: https://www.tandfonline.com/doi/full/10.1080/10511970.2019.1608487 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1080/10511970.2019.1608487» https://www.tandfonline.com/doi/full/10.1080/10511970.2019.1608487
  • CASTILLO SILVA, Flavio de Jesús. Andragogía, andragogos y sus aportaciones. Voces de la Educación, ago. 2018. Disponible en: <Disponible en: https://hal.archives-ouvertes.fr/hal-02528598 >. Acceso en: 31 ene. 2022.
    » https://hal.archives-ouvertes.fr/hal-02528598
  • CRETCHLEY, Gail y CASTLE, Jane. OBE, RPL and adult education: good bedfellows in higher education in South Africa? en. International Journal of Lifelong Education, v. 20, n. 6, p. 487-501, nov. 2001. ISSN 0260-1370, 1464-519X. DOI: 10.1080/02601370110088463. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1080/02601370110088463 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1080/02601370110088463» http://www.tandfonline.com/doi/abs/10.1080/02601370110088463
  • CSAPÓ, Benő y MOLNÁR, Gyöngyvér. Online Diagnostic Assessment in Support of Personalized Teaching and Learning: The eDia System. Frontiers in Psychology, v. 10, 2019. ISSN 1664-1078. Disponible en: <Disponible en: https://www.frontiersin.org/article/10.3389/fpsyg.2019.01522 >. Acceso en: 31 ene. 2022.
    » https://www.frontiersin.org/article/10.3389/fpsyg.2019.01522
  • DOMENECH, Iluminada Sánchez. La andragogía de Malcom Knowles: Teoría y tecnología de la educación de adultos. 2015. Tesis (Doctorado) - Universidad Cardenal Herrera.
  • DZIUBAN, Charles y col. Adaptive Learning: A Tale of Two Contexts. Current Issues in Emerging eLearning, v. 4, n. 1, mar. 2017. ISSN 2373-6089. Disponible en: <https://scholarworks.umb.edu/ciee/vol4/iss1/3>.
    » https://scholarworks.umb.edu/ciee/vol4/iss1/3
  • DZIUBAN, Charles D. y col. Adaptive Learning in Psychology: Wayfinding in the Digital Age. en. Online Learning, v. 20, n. 3, p. 74-96, sep. 2016. ISSN 1939-5256. Disponible en: <Disponible en: https://eric.ed.gov/?id=EJ1113343 >. Acceso en: 31 ene. 2022.
    » https://eric.ed.gov/?id=EJ1113343
  • EDU TRENDS. Aprendizaje y evaluación Adaptativos. [S.l.], jul. 2014.
  • EDUCAUSE (ASSOCIATION). 2020 EDUCAUSE Horizon Report : Teaching and Learning Edition. Louisville, CO USA: [s.n.], 2020. ISBN 9781933046037. Disponible en: <https://library.educause.edu/-/media/files/library/2020/3/2020_horizon_report_pdf.pdf>.
    » https://library.educause.edu/-/media/files/library/2020/3/2020_horizon_report_pdf.pdf
  • ESSA, Alfred y LASTER, Stephen. Bloom’s 2 Sigma Problem and Data-Driven Approaches for Improving Student Success. In: FELDMAN, Robert S. (Ed.). The First Year of College. 1. ed. [S.l.]: Cambridge University Press, dic. 2017. p. 212-246. ISBN 9781316811764 9781107176287 9781316629383. DOI: 10.1017/9781316811764.009. Disponible en: <Disponible en: https://www.cambridge.org/core/product/identifier/9781316811764%23CN-bp-8/type/book_part >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1017/9781316811764.009» https://www.cambridge.org/core/product/identifier/9781316811764%23CN-bp-8/type/book_part
  • GONZÁLEZ, Jaime Ricardo Valenzuela y FAHARA, Manuel Flores. Fundamentos de investigación educativa. Volumen 1. Primera edición. [S.l.]: Editorial Digital del Tecnológico de Monterrey, nov. 2014.
  • INEE, (Instituto Nacional Para la Evaluación de la Educación). La educación obligatoria en México. Perfiles Educativos, v. 41, n. 164, p. 188-199, abr. 2019. ISSN 2448-6167, 0185-2698. DOI: 10.22201/iisue.24486167e.2019.164.59386. Disponible en: <Disponible en: http://perfileseducativos.unam.mx:80/iisue_pe/index.php/perfiles/article/view/59386 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.22201/iisue.24486167e.2019.164.59386» http://perfileseducativos.unam.mx:80/iisue_pe/index.php/perfiles/article/view/59386
  • JAVIDANMEHR, Zahra y ANANI SARAB, Mohammad Reza. Cognitive Diagnostic Assessment: Issues and Considerations. International Journal of Language Testing, v. 7, n. 2, p. 73-98, oct. 2017. ISSN 2476-5880. Disponible en: <Disponible en: https://www.ijlt.ir/article_114441.html >. Acceso en: 31 ene. 2022.
    » https://www.ijlt.ir/article_114441.html
  • KNOWLES, Malcolm S. Andragogia El Aprendizaje de Los Adultos. México: Oxford University Press, 2006.
  • KNOWLES, Malcolm S. The modern practice of adult education: from pedagogy to andragogy. Chicago: Association Press; Follett Pub. Co, 1980.
  • LAU, Alice Man Sze. ‘Formative good, summative bad?’ - A review of the dichotomy in assessment literature. en. Journal of Further and Higher Education, v. 40, n. 4, p. 509-525, jul. 2016. ISSN 0309-877X, 1469-9486. DOI: 10.1080/0309877X.2014.984600. Disponible en: <Disponible en: http://www.tandfonline.com/doi/full/10.1080/0309877X.2014.984600 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1080/0309877X.2014.984600» http://www.tandfonline.com/doi/full/10.1080/0309877X.2014.984600
  • MARZANO, Robert J. y KENDALL, John S. Designing & assessing educational objectives: applying the new taxonomy. Thousand Oaks: Corwin Press, 2008. ISBN 9781412940344 9781412940351.
  • MERRIAM, Sharan B. Andragogy and Self-Directed Learning: Pillars of Adult Learning Theory. New Directions for Adult and Continuing Education, v. 2001, n. 89, pág. 3, 2001. ISSN 10522891, 15360717. DOI: 10.1002/ace.3. Disponible en: <Disponible en: https://onlinelibrary.wiley.com/doi/10.1002/ace.3 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1002/ace.3» https://onlinelibrary.wiley.com/doi/10.1002/ace.3
  • MORILLO LOZANO, María del Carmen. Aprendizaje adaptativo. spa, 2016. Disponible en: <Disponible en: https://uvadoc.uva.es/handle/10324/21000 >. Acceso en: 31 ene. 2022.
    » https://uvadoc.uva.es/handle/10324/21000
  • MOSKAL, Patsy; CARTER, Don y JOHNSON, Dale. 7 Things You Should Know About Adaptive Learning. [S.l.], 2017. Disponible en: <https://library.educause.edu/resources/2017/1/7-things-you-should-know-about-adaptive-learning>.
    » https://library.educause.edu/resources/2017/1/7-things-you-should-know-about-adaptive-learning
  • MURRAY, Meg y PEREZ, Jorge. Informing and Performing: A Study ComparingAdaptive Learning to Traditional Learning. Informing Science: The International Journal of an Emerging Transdicipline, v. 18, p. 111-125, jul. 2015. Disponible en: <https://digitalcommons.kennesaw.edu/facpubs/3436>.
    » https://digitalcommons.kennesaw.edu/facpubs/3436
  • NEWMAN, Adam. Learning to Adapt: A Case for Accelerating Adaptive Learning in Higher Education. [S.l.], 2013. Disponible en: <https://tytonpartners.com/accelerating-adaptive-learning-in-higher-education/>.
    » https://tytonpartners.com/accelerating-adaptive-learning-in-higher-education/
  • PEREIRA, Manuel Castro. La Conformación de un Modelo de Desarrollo Curricular con Base en los Principios de la Ciencia Andragógica. Ponencia, Caracas, Venezuela, 1990.
  • PICCIANO, Anthony. Artificial Intelligence and the Academy’s Loss of Purpose. Online Learning, v. 23, n. 3, sep. 2019. ISSN 2472-5730, 2472-5749. DOI: 10.24059/olj.v23i3.2023. Disponible en: <Disponible en: https://olj.onlinelearningconsortium.org/index.php/olj/article/view/2023 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.24059/olj.v23i3.2023» https://olj.onlinelearningconsortium.org/index.php/olj/article/view/2023
  • SADLER, D. Royce. Formative assessment and the design of instructional systems. Instructional Science, Springer Science y Business Media LLC, v. 18, n. 2, p. 119-144, jun. 1989.
  • SCRIVEN, Michael. The Methodology of Evaluation. In: TYLER, R.; GAGNÉ, R. y SCRIVEN, M. (Ed.). Perspectives of Curriculum Evaluation, AERA Monograph Series on Curriculum Evaluation. Chicago: Rand McNally, 1967. v. 1. p. 39-83.
  • SHARMA, Kshitij; PAPAMITSIOU, Zacharoula y GIANNAKOS, Michail. Building pipelines for educational data using AI and multimodal analytics: A “grey-box” approach. en. British Journal of Educational Technology, v. 50, n. 6, p. 3004-3031, nov. 2019. ISSN 0007-1013, 1467-8535. DOI: 10.1111/bjet.12854. Disponible en: <Disponible en: https://onlinelibrary.wiley.com/doi/10.1111/bjet.12854 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1111/bjet.12854» https://onlinelibrary.wiley.com/doi/10.1111/bjet.12854
  • TAN GEOK SHIM, George; SHAKAWI, Abang Mohammad Hudzaifah Abang y AZIZAN, Farah Liyana. Relationship between Students’ Diagnostic Assessment and Achievement in a Pre-University Mathematics Course. Journal of Education and Learning, v. 6, n. 4, pág. 364, nov. 2017. ISSN 1927-5269, 1927-5250. DOI: 10.5539/jel.v6n4p364. Disponible en: <Disponible en: http://www.ccsenet.org/journal/index.php/jel/article/view/69209 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.5539/jel.v6n4p364» http://www.ccsenet.org/journal/index.php/jel/article/view/69209
  • TARAS, Maddalena. Assessment - summative and formative - some theoretical reflections. en. British Journal of Educational Studies, v. 53, n. 4, p. 466-478, dic. 2005. ISSN 0007-1005, 1467-8527. DOI: 10.1111/j.1467-8527.2005.00307.x. Disponible en: <Disponible en: http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1111/j.1467-8527.2005.00307.x» http://www.tandfonline.com/doi/abs/10.1111/j.1467-8527.2005.00307.x
  • TARAS, Maddalena. Summative and formative assessment: Perceptions and realities. en. Active Learning in Higher Education, v. 9, n. 2, p. 172-192, jul. 2008. ISSN 1469-7874, 1741-2625. DOI: 10.1177/1469787408091655. Disponible en: <Disponible en: http://journals.sagepub.com/doi/10.1177/1469787408091655 >. Acceso en: 31 ene. 2022.
    » https://doi.org/10.1177/1469787408091655» http://journals.sagepub.com/doi/10.1177/1469787408091655
  • VIRGILI, María Eulàlia Torras. Fundamentos y práctica del aprendizaje adaptativo. 2018. Tesis (Magíster) - Universidad Internacional de Valencia, Catalunya.
  • 1
    El resultado de aprendizaje es una competencia de menor nivel y precisa en cierta contenido. Competencia (uady2012):es la integración dinámica de conocimientos, habilidades, actitudes y valores que permitan al egresado desempeñarse como ciudadano autónomo y flexible en una función, actividad o tarea profesional o social, a lo largo de la vida.
  • Editor de sección:

    Leonardo C. Araújo Editor de maquetación: Leonardo C. Araújo
  • Contribuciones de los autores

    Viviana Guadalupe Azcorra Novelo: Conceptualización, Curación de datos, Análisis formal, Investigación, Metodología, Recursos, Validación, Visualización, Redacción - borrador original, Redacción - Revisión y edición; Katherina Edith Gallardo Córdova: Administración de proyectos, Supervisión, Validación, Redacción - borrador original, Redacción - Revisión y edición .

Fechas de Publicación

  • Publicación en esta colección
    20 Abr 2022
  • Fecha del número
    2022

Histórico

  • Recibido
    25 Nov 2021
  • Acepto
    29 Dic 2021
  • Publicado
    10 Feb 2022
Universidade Federal de Minas Gerais - UFMG Av. Antônio Carlos, 6627 - Pampulha, Cep: 31270-901, Belo Horizonte - Minas Gerais / Brasil, Tel: +55 (31) 3409-6009 - Belo Horizonte - MG - Brazil
E-mail: revistatextolivre@letras.ufmg.br