ABSTRACT Introduction: the quality of higher education is guaranteed through the evaluation of teaching processes. Objective: to compare the quality of an assessment tool in two school years. Methods: an educational research in the evaluation field of Orthodontics subject, in the 4th year of the Dentistry career, from September 2015 to June 2017. Universe: 52 exams. The methodology for the quality of assessment tools was applied and they were compared with those of the previous year, at the University of Medical Sciences in Holguín, Cuba. Results: most of the educational goals were explored in 2015-16; in 2016-17, all of them. In the 2015-16 exams the topic with more items was #2, (23.3%), while in those of 2016-17 was #3, (20%). Items and time spent on each theme showed little correlation in 2015-16, with Spearman 0.39, in 2016-17 it was excellent, with Spearman 0.85. There was no correlation between actual and expected items (Spearman 0.13) in 2015-16; in 2016-17 there was correlation with Spearman 0.95. Almost all the questions had an excellent power of discrimination in 2015-16; in 2016-17, all of them. The reliability of the exam was not acceptable in 2015-16, with Cronbach's alpha 0.48 - 0.59; in 2016-17 the values 0.60- 0.65, showed good reliability. Conclusions: the time fund did not correspond to the items of 2015-16, while in 2016-17, it did. In 2015-16 there was no correlation between the expected and actual degree of difficulty of the items, but in 2016-17 there was a correlation. Most of the themes were within easy and medium easy ranges in 2015-16; in 2016-17 the medium difficulty predominated. The questions had excellent discrimination power in both courses. Reliability was acceptable in 2016-17, but not in 2015-16.
RESUMEN Introducción: la calidad de la educación superior se garantiza a través de la evaluación de los procesos docentes. Objetivo: comparar la calidad de un instrumento evaluativo en dos cursos. Métodos: investigación educacional en el campo de evaluación en la asignatura de Ortodoncia de 4to. año de la carrera de Estomatología, desde septiembre 2015 a junio 2017. Universo: 52 exámenes. Se aplicó la metodología para la calidad de instrumentos evaluativos y se compararon con los del curso anterior, en la Universidad de Ciencias Médicas de Holguín, Cuba. Resultados: en 2015-16 se exploraron la mayoría de los objetivos instructivos, en el del 2016-17, todos. En el examen del 2015-16 el tema de más ítems fue el 2, con 23,3%, mientras que en el del 2016-17, el 3 (20%). Los ítems y el tiempo dedicado a cada temática mostraron escasa correlación en el 2015-16 con Spearman 0,39; en 2016-17 fue excelente, con Spearman 0,85. No existió correlación entre los ítems real y los esperados (Spearman 0,13) en el 2015-16 y sí en el curso 2016-17 con Spearman 0,95. Casi todas las preguntas tuvieron un excelente poder de discriminación en el 2015-16, en el 2016-17, todas. La confiabilidad del examen no fue aceptable en el 2015-16, con alfa de Cronbach 0,48 - 0,59; en el 2016-17 los valores de 0,60- 0,65 reflejaron buena confiabilidad. Conclusiones: no se correspondió el fondo de tiempo con los ítems del 2015-16, mientras que el 2016-17, sí. En el 2015-16 no existió correlación entre el grado de dificultad de los ítems esperado y el real y en 2016-17 sí existió correlación. La mayoría de las temáticas estaban dentro de los rangos fáciles y medianamente fáciles en el 2015-16, en el 2016-17 predominó la dificultad media. Las preguntas tuvieron excelente poder de discriminación en ambos cursos. La confiabilidad fue aceptable en el 2016-17, pero no en el 2015-16.