ASSESSMENT OF UNIVERSITY STUDENTS’ ORAL COMMUNICATION COMPETENCE THROUGH A RELIABLE AND VALID SCORING RUBRIC

VERANO-TACORONTE, DOMINGO; GONZÁLEZ-BETANCOR, SARA M.; BOLÍVAR-CRUZ, ALICIA; FERNÁNDEZ-MONROY, MARGARITA; GALVÁN-SÁNCHEZ, INMACULADA

doi:10.1590/S1413-24782016216403

Acessibilidade / Reportar erro

Brasil

Revista Brasileira de Educação

Español English

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

Artigos • Rev. Bras. Educ. 21 (64) • Jan-Mar 2016 • https://doi.org/10.1590/S1413-24782016216403 copy

ASSESSMENT OF UNIVERSITY STUDENTS’ ORAL COMMUNICATION COMPETENCE THROUGH A RELIABLE AND VALID SCORING RUBRIC

Authorship SCIMAGO INSTITUTIONS RANKINGS

ABSTRACT

The new university educational model fosters the equipping of students with the right competences. Oral communication competence is one of the most important ones demanded for the employability of university graduates. There are several evaluation criteria to assess this competence, so it is important to unify them. Therefore, it is crucial to develop validated scoring rubrics. Rubrics allow assessing the quality of students’ contributions as well as guiding their performance by specifying the factors that will be evaluated. To achieve the main objective of this paper, we describe the development process of a scoring rubric and analyze its validity and reliability based on its implementation. Therefore, we undertake a practical experiment in the subject, industrial organization and business administration in an industrial engineering degree course. Consequently, our findings revealed that the scoring rubric is a valid and reliable tool to assess oral communication competence.

KEYWORDS
higher education; scoring rubric; evaluation; competence; oral skills

	Referente estricto			Referente laxo (ponderado)
	Acuerdo	Kappa	Prob>Z	Acuerdo	Kappa	Prob>Z
V1	53,33%	0.1277	0.0975	83.33%	0.1471	0.1148
V2	68.33%	0.4942	0.0000	92.08%	10.6524	0.0000
V3	50.00%	0.2437	0.0016	82.50%	0.3298	0.0023
V4	56.67%	0.2390	0.0108	86.67%	0.2755	0.0110
V5	66.67%	0.4197	0.0000	91.67%	0.5890	0.0000
V6	58.33%	0.3307	0.0002	82.08%	0.4251	0.0005
V7	53.33%	0.3086	0.0001	85.83%	0.5051	0.0000
V8	55.00%	0.3272	0.0001	86.25%	0.5665	0.0000
V9	43.33%	0.1429	0.0577	79.58%	0.3257	0.0051
V10	53.33%	0.2947	0.0006	87.08%	0.5646	0.0000

ANPEd - Associação Nacional de Pós-Graduação e Pesquisa em Educação Rua Visconde de Santa Isabel, 20 - Conjunto 206-208 Vila Isabel - 20560-120, Rio de Janeiro RJ - Brasil, Tel.: (21) 2576 1447, (21) 2265 5521, Fax: (21) 3879 5511 - Rio de Janeiro - RJ - Brazil
E-mail: rbe@anped.org.br

Acompanhe os números deste periódico no seu leitor de RSS

[1] Domingo Verano-Tacoronte es doctor en economía de la empresa por la Universidad de Las Palmas de Gran Canaria (España). Profesor de la misma institución.

E-mail: domingo.verano@ulpgc.es

Valoración del grupo
Uniformidad de los medios de apoyo visuales
Nivel	Definición	Ejemplos
Deficiente	Existen diferencias ostensibles de diseño entre las diferentes diapositivas utilizadas.	Diferentes tipos de letras, tamaño, estilos, fondos, etc. entre los ponentes.
Aceptable	La mayor parte de las diapositivas utilizadas responden al mismo diseño.	Solo cambian gráficos y tablas.
Excelente	El formato utilizado a lo largo de la presentación es homogéneo.	No existe ninguna variación entre las diapositivas.
Coordinación de la exposición
Nivel	Definición	Ejemplos
Deficiente	No se ha efectuado un reparto adecuado de tiempos y cometidos para la presentación.	No queda claro quién tiene que hacer cada parte de la exposición. Se expresan con vocabulario diferente.
Aceptable	El reparto de trabajo para la exposición es homogéneo.	El contenido expuesto es similar en envergadura, así como el tiempo utilizado para hacerlo.
Excelente	Además de lo anterior, la sincronización entre los participantes es correcta.	Se da la palabra el uno al otro y hace referencia cada uno a las partes expuestas por los demás.
Calidad de las diapositivas utilizadas
Nivel	Definición	Ejemplos
Deficiente	Hay varios errores en las diapositivas en cuanto a nitidez, tipografía, ortografía y diseño.	Las imágenes no son nítidas, están mal enfocadas, alineadas o no identificables. El color elegido dificulta la lectura del texto.
Aceptable	Pequeños errores de formato, sin faltas de ortografía.	Se admite algún error puntual en la justificación de párrafos, alineación de imágenes o tipografías diferentes entre diapositivas.
Excelente	No hay errores de formato y el diseño es especialmente atractivo.	Gráficos, imágenes y texto se ven con precisión. La elección de colores y formatos es atractiva visualmente. Se diferencia en tamaño entre encabezados y texto.
Orden y claridad en la presentación
Nivel	Definición	Ejemplos
Deficiente	Las ideas están pobremente organizadas.	Idea principal no entendida o no existe. No abre la presentación con un esquema de contenidos. Repite los contenidos en diferentes apartados. No agrupa contenidos en un orden lógico. No se presenta ni introduce el objetivo de la charla. Utiliza términos no comunes y no los explica.
Aceptable	Se sigue un orden coherente en la exposición, si bien faltan algunos elementos de ayuda.	Explica las ideas principales, pero no expone un esquema de contenidos y/o conclusiones principales.
Excelente	Mantiene una secuencia lógica y ordenada entre cada una de las partes. Concluye con las ideas principales.	La audiencia no se he perdido en toda la exposición y sabía de que estaba hablando en cada momento.
Valoración individual
Relación del discurso con las imágenes
Nivel	Definición	Ejemplos
Deficiente	Las imágenes no están relacionadas con el contenido del trabajo.	La imagen es graciosa o impactante, pero no aporta nada a la explicación.
Aceptable	Las imágenes tienen relación con el trabajo presentado, pero no aportan información esencial, solo repiten el contenido del discurso.	La imagen es básicamente el discurso, pero proyectado en grande.
Excelente	Las imágenes apoyan claramente el contenido del discurso. El estudiante "interactúa" con las imágenes.	Las imágenes han hecho que el discurso sea más interesante y lo enriquecen.
Apoyo en el material escrito
Nivel	Definición	Ejemplos
Deficiente	Siempre lee el material escrito (diapositivas, guión o similar).	No mira al resto; sin guión le sería imposible exponer.
Aceptable	Lee el material en ocasiones puntuales, como apoyo a su discurso.	Se lee una definición para dar precisión.
Excelente	Nunca lee el material.	No se lo sabe de memoria, sino que domina la exposición.
Tonalidad y modulación de la voz
Nivel	Definición	Ejemplos
Deficiente	Tono monótono, sin inflexiones en la voz.	No se le escucha. No destaca aspectos concretos de la presentación a través del tono de voz.
Aceptable	Tono adecuado, aunque no enfatiza lo importante.	Se le oye bien, pero no siempre refuerza con su tono o volumen el mensaje.
Excelente	Utiliza los tonos y volúmenes de la voz para reforzar el mensaje.	Hace pausas dramáticas después de lanzar una pregunta o un comentario, con el fin de generar atención.
Claridad al hablar / vocalización
Nivel	Definición	Ejemplos
Deficiente	No vocaliza adecuadamente.	No se le entiende.
Aceptable	Habla bien y con naturalidad.	Se le entienden las palabras. Pequeños problemas de entendimiento por vocalización.
Excelente	Se esfuerza por hablar con claridad suficiente para que lo entienda la audiencia.	No se atropella con las palabras.
Dominio del espacio
Nivel	Definición	Ejemplos
Deficiente	No mira al público o se concentra en una parte muy reducida de la audiencia.	Mira al techo, mira por la ventana, mira al suelo, mira al infinito del aula.
Aceptable	Reparte su mirada por el público, pero de manera irregular.	Mira más tiempo al profesor que a los compañeros.
Excelente	Distribuye la mirada uniformemente por el público asistente.	Incluye a todos en el discurso, alguna vez.
Expresión corporal
Nivel	Definición	Ejemplos
Deficiente	Muestra grandes gestos de nerviosismo durante la exposición. La postura corporal no está en consonancia con la exposición.	Manos en los bolsillos, tics, temblores. Se apoya en el pupitre o la pared. Mastica chicle durante la exposición.
Aceptable	Mantiene una postura adecuada durante la exposición.	No se apoya en el pupitre o pizarra. Se mueve por la zona de presentación de manera pausada.
Excelente	Además de lo anterior, refuerza con sus gestos el contenido de la presentación.	Además del nivel anterior, utiliza las manos para señalar aspectos concretos de las diapositivas.