Acessibilidade / Reportar erro

Valoración de la competencia de comunicación oral de estudiantes universitarios a través de una rúbrica fiable y válida

ASSESSMENT OF UNIVERSITY STUDENTS’ ORAL COMMUNICATION COMPETENCE THROUGH A RELIABLE AND VALID SCORING RUBRIC

AVALIAÇÃO DA COMPETÊNCIA DE COMUNICAÇÃO ORAL DE ESTUDANTES UNIVERSITÁRIOS POR MEIO DE UMA RUBRICA VÁLIDA E CONFIÁVEL

RESUMEN

El nuevo modelo formativo de enseñanza universitaria promueve dotar a los estudiantes de las competencias adecuadas. La competencia de comunicación oral es una de las más importantes para la empleabilidad de los titulados universitarios. Hay varios criterios para evaluar esta competencia, por lo que es importante unificarlos. Por tanto, es crucial desarrollar rúbricas validadas. Las rúbricas permiten valorar la calidad de las contribuciones de los estudiantes, así como orientarlos en su desempeño al especificar los factores que serán evaluados. Para alcanzar el objetivo principal de este trabajo se describe el proceso de elaboración de una rúbrica y se analiza su validez y fiabilidad mediante su implementación. Para ello se lleva a cabo una experiencia en la asignatura “organización industrial y administración de empresas” de la titulación de ingeniería industrial. Como consecuencia, los resultados revelan que la rúbrica diseñada es una herramienta válida y fiable para evaluar la competencia de comunicación oral.

PALABRAS CLAVE
educación superior; rúbrica; evaluación; competencia; comunicación oral

ABSTRACT

The new university educational model fosters the equipping of students with the right competences. Oral communication competence is one of the most important ones demanded for the employability of university graduates. There are several evaluation criteria to assess this competence, so it is important to unify them. Therefore, it is crucial to develop validated scoring rubrics. Rubrics allow assessing the quality of students’ contributions as well as guiding their performance by specifying the factors that will be evaluated. To achieve the main objective of this paper, we describe the development process of a scoring rubric and analyze its validity and reliability based on its implementation. Therefore, we undertake a practical experiment in the subject, industrial organization and business administration in an industrial engineering degree course. Consequently, our findings revealed that the scoring rubric is a valid and reliable tool to assess oral communication competence.

KEYWORDS
higher education; scoring rubric; evaluation; competence; oral skills

RESUMO

O novo modelo formativo de ensino superior pretende dotar os estudantes das competências adequadas. A competência de comunicação oral é uma das mais importantes para a empregabilidade dos graduados. Há vários critérios utilizados na avaliação dessa competência, e por isso é importante uni-los. Nessa perspectiva, é importante o desenvolvimento de rubricas validadas. As rubricas permitem uma avaliação da qualidade das contribuições dos estudantes, assim como os orientam no seu desempenho ao especificar os fatores que serão avaliados. Para alcançar o objetivo principal deste trabalho, é descrito o processo de elaboração de uma rubrica e analisadas a validez e a confiabilidade de sua implantação. Para isso se realiza uma experiência na disciplina organização industrial e administração de empresas, do curso de graduação em engenharia industrial. Os resultados revelam que a rubrica desenvolvida é uma ferramenta válida e confiável para avaliar a competência de comunicação oral.

PALAVRAS-CHAVE
educação superior; rubrica; avaliação; competência; comunicação oral

INTRODUCCIÓN

El nuevo modelo formativo de enseñanza universitaria en España, impulsado a partir del desarrollo del Espacio Europeo de Educación Superior (EEES), también llamado Proceso de Bolonia (Robertson, 2009Robertson, S. L. O processo de Bolonha da Europa torna-se global: modelo, mercado, mobilidade, força intelectual ou estratégia para construção do Estado? Revista Brasileira de Educação; Rio de Janeiro: ANPEd, Campinas: Autores Associados, v. 14, n. 42, p. 407-422, set./dez. 2009. Disponible en: <http://www.scielo.br/pdf/rbedu/v14n42/v14n42a02.pdf>. Acceso en: 22 oct. 2013.
http://www.scielo.br/pdf/rbedu/v14n42/v1...
), propicia la capacitación de los estudiantes a través de la formación por competencias. En general, con este modelo formativo se pretende preparar personas que sepan afrontar los desafíos globales presentes y futuros, que sean competentes en su campo de especialidad, que sean solidarias y que estén dispuestas a comprometerse concretamente y expresarse (Fernández-March, 2010Fernández-March, A. La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de Docencia Universitaria, Vigo: Red Estatal de Docencia Universitaria, v. 8, n. 1, p. 11-34, 2010.). En efecto, la inclusión del enfoque por competencias en la enseñanza universitaria está motivada no solo por lograr la coherencia de todo el sistema educativo, sino también por reorientar el papel actual de la educación superior y fortalecer su vínculo con el mundo laboral, potenciando el desarrollo interdisciplinario del estudiante (Bolívar-Cruz et al., 2013______.; ______.; Fernández-Monroy, M.; Galván-Sánchez, I.; González- Betancor, S. M.; López-Puig, A. J.; Suárez-Falcón, H.; Verano-Tacoronte, D.; Dorta-González, P. Evaluación y fomento de la competencia de comunicación oral de los estudiantes universitarios. Revista Iberoamericana de Evaluación Educativa, Red Iberoamericana de Investigación sobre Cambio y Eficacia Escolar (RINACE), [s.n.], v. 6, n. 1, p. 17-28, 2013. Disponible en: <http://www.rinace.net/riee/numeros/vol6-num1/art01.pdf> Acceso en: 18 sept. 2013.
http://www.rinace.net/riee/numeros/vol6-...
; López-Ruiz, 2011López-Ruiz, J. I. Un giro copernicano en la enseñanza universitaria: formación por competencias. Revista de Educación, Ministerio de Educación, Cultura y Deporte, Madrid, v. 356, p. 279-301, 2011.; Nassif, Hanashiro, Torres, 2010Nassif, V. M. J.; Hanashiro, D. M. M.; Torres, R. R. Fatores que influenciam na percepção das competências para o exercício da docência. Revista Brasileira de Educação; Rio de Janeiro: ANPEd, Campinas: Autores Associados, v. 15, n. 44, p. 364-412, maio/ago. 2010. Disponible en: <http://www.scielo.br/pdf/rbedu/v15n44/v15n44a12.pdf>. Acceso en: 23 oct. 2013.
http://www.scielo.br/pdf/rbedu/v15n44/v1...
). Así pues, este nuevo papel atribuido a las instituciones de educación superior supone un punto de inflexión en los procesos tradicionales de enseñanza-aprendizaje, con el que se pretende facilitar la empleabilidad de los estudiantes mediante su inserción profesional a largo plazo.

De este modo, los nuevos planes de estudio de los títulos universitarios han de potenciar las competencias que desarrollen la capacidad de los estudiantes de integrarse en el mercado de trabajo y permanecer en él a lo largo del tiempo e, incluso, poder volver a él si lo abandonan temporalmente (Robertson, 2009Robertson, S. L. O processo de Bolonha da Europa torna-se global: modelo, mercado, mobilidade, força intelectual ou estratégia para construção do Estado? Revista Brasileira de Educação; Rio de Janeiro: ANPEd, Campinas: Autores Associados, v. 14, n. 42, p. 407-422, set./dez. 2009. Disponible en: <http://www.scielo.br/pdf/rbedu/v14n42/v14n42a02.pdf>. Acceso en: 22 oct. 2013.
http://www.scielo.br/pdf/rbedu/v14n42/v1...
). La universidad es el centro de atención de una sociedad que espera que sus sistemas educativos contribuyan a promover ciudadanos educados para el siglo XXI (Marcelo, 2013Marcelo, C. Las tecnologías para la innovación y la práctica docente. Revista Brasileira de Educação, Rio de Janeiro: ANPEd; Campinas: Autores Associados, v. 15, n. 52, p. 25-47, enero-abr. 2013. Disponible en: <http://www.scielo.br/pdf/rbedu/v18n52/03.pdf>. Acceso en: 20 oct. 2013.
http://www.scielo.br/pdf/rbedu/v18n52/03...
). Ello supone la adquisición de competencias profesionales, tanto de carácter genérico como específico, así como de aquellas competencias transversales que capacitarán al individuo para enfrentarse adecuadamente a los retos, particularmente en el ejercicio de su actividad profesional. Entre estas competencias, muchas de ellas denominadas “habilidades blandas” (Halfhill; Nielsen, 2007Halfhill, T. R.; Nielsen, T. M. Quantifying the softer side of management education: an example using teamwork competencies. Journal of Management Education, Sage, Reino Unido, v. 31, n. 1, p. 64-80, 2007.), se encuentran el aprendizaje autónomo, el trabajo en equipo, la búsqueda de información, la capacidad de resolución de problemas, las habilidades comunicativas, etc.

Los profesionales en el ámbito de la empresa reconocen la importancia de estas habilidades de comunicación oral. Así, por ejemplo, Reinsch Jr. y Shelby (1997)Reinsch Jr., N. L; Shelby, A. N. What communication abilities do practitioners need? Evidence from MBA students. Business Communication Quarterly, Association for Business Communication, Blacksburg, VA, v. 60, n. 4, p. 7-29, 1997. encontraron que las personas que se dedican a la gestión empresarial mencionan con gran frecuencia las situaciones de comunicación oral cuando describen sus episodios, a nivel de comunicación, más exigentes en el trabajo. Maes, Weldy e Icenogle (1997)Weigle, S. C. Investigating rater/prompt interactions in writing assessment: quantitative and qualitative approaches. Assessing Writing, Elsevier, Reino Unido, v. 6, p. 145-178, 1999., por su parte, encontraron que las habilidades para la presentación oral se encuentran entre las habilidades de comunicación oral que necesitan los trabajadores en los puestos de entrada a las empresas. Ramos-Álvarez y Luque (2010)Ramos-Álvarez, M.-M.; Luque, G. A competence-based constructivist tool for evaluation. Cultura y Educación, Fundación Infancia y Aprendizaje, Routledge, Reino Unido, v. 22, n. 3, p. 329-344, 2010. indican que la presentación de información práctica o teórica delante de una audiencia es una competencia profesional que la mayoría de los estudiantes necesitarán aplicar en sus carreras futuras. Por tanto, no debería ser extraño que en las enseñanzas universitarias cada vez se exija más la realización de presentaciones orales en un intento de preparar a los estudiantes para sus roles futuros en su lugar de trabajo. Sin embargo, tal y como indican Campbell et al. (2001)Campbell, K. S.; Mothersbaugh, D. L.; Brammer, C.; Taylor, T. Peer versus self assessment of oral business presentation performance. Business Communication Quarterly, Sage, Reino Unido, v. 64, n. 3, p. 23-40, 2001., la mayoría de las titulaciones todavía ofrecen la mayor parte de la retroalimentación a las pruebas escritas, dejando poco tiempo a la evaluación de las competencias orales.

Así pues, es preciso centrar la atención en las presentaciones orales como medio para desarrollar estas competencias comunicativas tan necesarias. En este contexto, se identifican múltiples aspectos a tratar, con diferentes enfoques de evaluación. Se pueden evaluar aspectos de los contenidos de la presentación (e.g., número de referencias bibliográficas consultadas, adecuación de los contenidos expuestos a la materia de la asignatura, esfuerzo dedicado a la realización de la presentación) y aspectos formales (e.g., calidad y corrección de los medios visuales de apoyo, dominio del espacio físico, elocuencia). Además, la adecuada gestión del tiempo en la presentación es uno de los aspectos que también resultan importantes para los estudiantes y para las organizaciones que los emplearán en el futuro.

Reconocer y ajustarse a las limitaciones temporales a través del desarrollo de habilidades de selección de contenidos y complementariedad de las fuentes de información facilitadas a la audiencia son, por tanto, habilidades clave para convertirse en un orador competente. El control del tiempo de exposición, por consiguiente, se considera un elemento fundamental a tener en cuenta a la hora de evaluar la competencia, y son varios los trabajos en los que se incluye este indicador entre las condiciones generales de la tarea a desarrollar (e.g., Martos-Montes et al., 2010Martos-Montes, R.; Callejas-Aguilera, J. E.; Ramírez-Fernández, E.; Estrella-Cañada, R. Entrenamiento y evaluación de la expresión oral. Iniciación a la investigación, Universidad de Jaén, Jaén, v. e4, n. c7, p. I-VII, Número Especial, 2010.). Asimismo, la creciente importancia del trabajo en equipo para las empresas y organizaciones (Halfhill; Nielsen, 2007Halfhill, T. R.; Nielsen, T. M. Quantifying the softer side of management education: an example using teamwork competencies. Journal of Management Education, Sage, Reino Unido, v. 31, n. 1, p. 64-80, 2007.; Stevens; Campion, 1994Stevens, M. J.; Campion, M. A. The knowledge, skill, and ability requirements for teamwork: implications for human resource management. Journal of Management, Sage, Reino Unido, v. 20, n. 2, p. 503-530, 1994.) produce que cada vez más diferentes actuaciones laborales de los titulados, como las presentaciones de proyectos, productos y demás, requieran mayor coordinación y cooperación.

Por tanto, y como hemos tratado de explicar, la variedad de criterios de evaluación posibles en esta materia, y los diferentes matices que cada uno de estos criterios posee, hacen que la necesidad de unificar criterios y apreciaciones cobre una gran importancia. Es por ello por lo que resulta de gran interés la elaboración y utilización de las rúbricas.

LA RÚBRICA COMO HERRAMIENTA DE EVALUACIÓN DE COMPETENCIAS

Las rúbricas constituyen herramientas de evaluación que permiten valorar la calidad de las aportaciones de los estudiantes en distintos ámbitos, así como su nivel de ejecución, especificando, antes de la realización de la actividad evaluada, los factores o variables que se van a analizar y los niveles de cumplimiento en cada uno de ellos (Andrade; Du, 2005______.; Du, Y. Student perspectives on rubric-referenced assessment. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 10, n. 3, p. 1-11, 2005.; García-Ros, 2011García-Ros, R. Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, Colegio Oficial de Psicología de Andalucía Oriental, v. 9, n. 25, p. 1.043-1.062, 2011.; Jonsson; Svingby, 2007Jonsson, A.; Svingby, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, Elsevier, Reino Unido, v. 2, n. 2, p. 130-144, 2007.). Esta forma de evaluar, con amplia implantación en el ámbito anglosajón (véase Reddy, 2011Reddy, M. Y. Design and development of rubrics to improve assessment outcomes: a pilot study in a Master's level business program in India. Quality Assurance in Education, Emerald, Reino Unido, v. 19, n. 1, p. 84-104, 2011.), constituye actualmente un método extendido en la enseñanza obligatoria y, aunque todavía está desarrollándose en el contexto español, está alcanzando una creciente notoriedad.

Las rúbricas permiten, entre otras cosas, (a) promover un aprendizaje de mayor calidad, al centrar la atención en los comportamientos que permiten mejorar la realización de las actividades académicas; (b) mejorar la autoevaluación de los estudiantes sobre su propio trabajo; (c) facilitar a los profesores la emisión de juicios más válidos y centrados en la tarea; (d) proporcionar mejor retroalimentación a los estudiantes, y (e) mejorar la consistencia entre las valoraciones de los evaluadores, sean quienes sean, lo que facilita al profesorado la evaluación del nivel de rendimiento académico de los estudiantes al analizar competencias complejas (Jonsson; Svingby, 2007Jonsson, A.; Svingby, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, Elsevier, Reino Unido, v. 2, n. 2, p. 130-144, 2007.).

Sin embargo, son varios los impedimentos que se citan para el rápido desarrollo de las rúbricas en la enseñanza superior. Así, Reddy y Andrade (2010)______.; Andrade, H. G. A review of rubric use in higher education. Assessment & Evaluation in Higher Education, Taylor and Francis, Reino Unido, v. 35, n. 4, p. 435-448, 2010. destacan (a) la relativamente escasa formación que los profesores universitarios presentan en habilidades y metodologías docentes, así como en la evaluación de las enseñanzas, y (b) las dudas sobre la fiabilidad y la validez de las rúbricas para valorar el rendimiento académico de los estudiantes. Asimismo, según Andrade y Du (2005)______.; Du, Y. Student perspectives on rubric-referenced assessment. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 10, n. 3, p. 1-11, 2005., también pueden generar reticencias entre los estudiantes, ya que podrían no utilizar los mismos factores o variables de evaluación que sus profesores, o podrían resistirse a evaluar con estas rúbricas a sus compañeros.

Uno de los aspectos más difíciles a la hora de evaluar las presentaciones orales es determinar el tipo de evaluación que se va a utilizar: holística o analítica. En función del tipo de evaluación se elegirá un tipo de rúbrica u otra. Las rúbricas holísticas son constructos que contienen diferentes niveles de rendimiento que describen la calidad, cantidad o cantidad/calidad de una determinada tarea (Luft, 1997Luft, J. Design your own rubric. Science Scope, National Science Teachers Association (NSTA), Arlington, VA, February, v. 20, n. 5, p. 25-27, 1997.). Este tipo de rúbrica requiere que el evaluador determine qué nivel es el que mejor encaja con el trabajo realizado por el estudiante. Las rúbricas holísticas son más apropiadas cuando se pueden tolerar errores en el proceso de realización de la actividad evaluada, siempre y cuando la calidad global de la misma sea alta (Chase, 1999Chase, C. I. Contemporary assessment for educators. New York: Longman, 1999.). También se suele utilizar cuando no existe una sola manera de culminar con éxito una determinada actividad (Nitko, 2001Nitko, A. J. Educational assessment of students. 3. ed.Upper Saddle River, NJ: Merrill, 2001.). Al utilizar una sola dimensión en la evaluación, el proceso de valoración es más rápido (Mertler, 2001Mertler, C. A. Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 7, n. 25, 2001. Disponível em: <http://PAREonline.net/getvn.asp?v=7&n=25>. Acesso em: 28 out. 2015.
http://PAREonline.net/getvn.asp?v=7&n=25...
; Nitko, 2001Nitko, A. J. Educational assessment of students. 3. ed.Upper Saddle River, NJ: Merrill, 2001.). Por tanto, la utilización de estas rúbricas se presentaría, fundamentalmente, cuando la naturaleza de la evaluación del rendimiento académico es sumativa y no se requiere ofrecer retroalimentación significativa al estudiante (Mertler, 2001Mertler, C. A. Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 7, n. 25, 2001. Disponível em: <http://PAREonline.net/getvn.asp?v=7&n=25>. Acesso em: 28 out. 2015.
http://PAREonline.net/getvn.asp?v=7&n=25...
).

Por su parte, las rúbricas analíticas son constructos que consisten en criterios que están subdivididos en diferentes niveles de rendimiento. Por lo general, cada factor o criterio de evaluación comienza con una definición del mismo y, a continuación, las descripciones de los diferentes niveles de rendimiento para ese criterio. Para clarificar más las descripciones de los niveles, se pueden aportar ejemplos específicos en cada uno de los niveles. Este tipo de rúbricas es más apropiado cuando la actividad a realizar sí tiene una forma más apropiada de ejecución, o al menos más definida (Nitko, 2001Nitko, A. J. Educational assessment of students. 3. ed.Upper Saddle River, NJ: Merrill, 2001.). Aunque pueden hacer el proceso de evaluación más lento, analizan individualmente diferentes características del rendimiento académico del estudiante en una determinada actividad de evaluación, lo que redunda en una mejor comprensión de la actividad, tanto para los evaluadores como para los evaluados (idem).

En el caso concreto que nos ocupa, la utilización únicamente de una rúbrica holística no es adecuada si se quiere mejorar el desempeño en la presentación oral, ya que los estudiantes requieren comentarios específicos acerca de diferentes aspectos, tanto formales como de contenido, de su rendimiento en la actividad de comunicación oral, de manera que puedan mejorar de cara a su desempeño futuro (Campbell et al., 2001Campbell, K. S.; Mothersbaugh, D. L.; Brammer, C.; Taylor, T. Peer versus self assessment of oral business presentation performance. Business Communication Quarterly, Sage, Reino Unido, v. 64, n. 3, p. 23-40, 2001.; Ramos-Álvarez; Luque, 2010Ramos-Álvarez, M.-M.; Luque, G. A competence-based constructivist tool for evaluation. Cultura y Educación, Fundación Infancia y Aprendizaje, Routledge, Reino Unido, v. 22, n. 3, p. 329-344, 2010.).

Además, como con cualquier herramienta de medida, es importante que se analicen las propiedades métricas de las rúbricas, es decir, su fiabilidad y validez. No solo hay que buscar la aportación de valor al proceso educativo utilizando formas alternativas y novedosas de evaluación, sino que hay que lograr la manera de que sean consistentes y precisas (Andrade, 2005Andrade, H. G. Teaching with rubrics: the good, the bad and the ugly. College Teaching, Taylor and Francis, Reino Unido, v. 53, n. 1, p. 27-30, 2005.; García-Ros, 2011García-Ros, R. Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, Colegio Oficial de Psicología de Andalucía Oriental, v. 9, n. 25, p. 1.043-1.062, 2011.; Reddy; Andrade, 2010______.; Andrade, H. G. A review of rubric use in higher education. Assessment & Evaluation in Higher Education, Taylor and Francis, Reino Unido, v. 35, n. 4, p. 435-448, 2010.). En otras palabras, si dos profesores observan las presentaciones de los mismos estudiantes, ¿coincidirán en las puntuaciones dadas a cada criterio de rendimiento? Si no se asegura la fiabilidad en la interpretación de la rúbrica, la utilidad de la misma para demostrar el grado de competencia adquirido y para mejorar el proceso de enseñanza-aprendizaje quedará en entredicho.

Reddy y Andrade (2010)______.; Andrade, H. G. A review of rubric use in higher education. Assessment & Evaluation in Higher Education, Taylor and Francis, Reino Unido, v. 35, n. 4, p. 435-448, 2010. indican que los tipos de fiabilidad que se consideran más a menudo en este tipo de usos de las rúbricas son de fiabilidad de los valoradores, es decir, se refieren a la consistencia de las puntuaciones que son asignadas por dos valoradores independientes (fiabilidad intervalorador) y por el mismo valorador en diferentes momentos de tiempo (fiabilidad intravalorador). Bajo estos estudios subyace la idea de que una rúbrica bien diseñada reduciría las inconsistencias en el proceso de valoración, minimizando los errores debidos a la formación de los valoradores, la calidad de su retroalimentación al estudiante y la claridad de las descripciones de los criterios.

Por su parte, para determinar la validez de la rúbrica hay que ajustarse, tal y como concluyen Reddy y Andrade (2010)______.; Andrade, H. G. A review of rubric use in higher education. Assessment & Evaluation in Higher Education, Taylor and Francis, Reino Unido, v. 35, n. 4, p. 435-448, 2010., a los objetivos y contenidos de la asignatura durante el desarrollo y uso de las rúbricas, así como a la necesidad de formar a los valoradores. Por último, la utilización de ejemplos de comportamientos en cada nivel de cada criterio de la rúbrica permite alcanzar un mayor nivel de validez, tal y como recomienda la literatura (e.g., Miller, 1990Miller, G. E. The assessment of clinical skills/competence/performance. Academic Medicine, Journal of the Association of American Medical Colleges, Philadelphia, PA, v. 65, n. 9, p. 63-67, 1990.).

A partir de las premisas anteriormente citadas, el objetivo de este trabajo es analizar la fiabilidad y validez de una rúbrica diseñada para orientar y evaluar las habilidades de presentación oral de los estudiantes universitarios, con apoyo en medios visuales y con una limitación de tiempo, en un contexto de trabajo en equipo. Describiremos el proceso de desarrollo de la rúbrica que utilizaremos, y analizaremos la validez y fiabilidad de la misma a partir de su aplicación en una titulación universitaria a través de valoraciones de diferentes profesores.

DISEÑO DE LA RÚBRICA

La rúbrica que presentamos es el producto de una serie de actividades previas desarrolladas en el seno de un grupo de innovación educativa interesado en el fomento y evaluación de las competencias transversales de los estudiantes universitarios. Una primera versión de la misma se diseñó para su utilización en una competición de presentaciones con un formato predefinido y una fuerte presencia del componente “tiempo” en la misma.1 1 El proceso de diseño y aplicación de esta rúbrica se puede consultar en Suárez-Falcón et al. (2011) y Bolívar-Cruz et al. (2011). Como consecuencia de su utilización en esta experiencia y de la evaluación crítica que los promotores de la misma realizamos, decidimos que había que acometer una serie de modificaciones en la rúbrica para que esta fuera más clara y fácil de utilizar por parte de evaluadores y estudiantes, llegado el caso. Para ello, se realizaron las siguientes acciones:

  1. Revisión de la literatura teórica y empírica acerca de la evaluación de competencias, fundamentalmente las de presentación oral, para extraer los principales criterios y factores de evaluación que fueran de utilidad tanto a nivel académico como profesional.

  2. Revisión de la literatura sobre elaboración y validación de rúbricas para su utilización en entornos docentes.

  3. A partir de la experiencia que los profesores que conforman el grupo de investigación en innovación educativa tienen en el ámbito de la evaluación de presentaciones orales, se identificó un amplio conjunto de ejemplos de comportamiento, o comportamientos críticos, relacionados con la presentación oral de trabajos en un tiempo limitado. En el diseño de nuestra rúbrica hemos tenido en consideración un aspecto que se recomienda por la mayoría de los autores consultados (e.g., Mertler, 2001Mertler, C. A. Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 7, n. 25, 2001. Disponível em: <http://PAREonline.net/getvn.asp?v=7&n=25>. Acesso em: 28 out. 2015.
    http://PAREonline.net/getvn.asp?v=7&n=25...
    ; Montgomery, 2001Montgomery, K. Authentic assessment: a guide for elementary teachers. New York: Longman, 2001.; Nitko, 2001Nitko, A. J. Educational assessment of students. 3. ed.Upper Saddle River, NJ: Merrill, 2001.), como es la utilización de atributos observables específicos del rendimiento de los estudiantes, con el fin de describir cada uno de los niveles de ejecución de la rúbrica a partir de estas características, habilidades o comportamientos que se están buscando, o aquellos que se pretende evitar (Andrade, 2005Andrade, H. G. Teaching with rubrics: the good, the bad and the ugly. College Teaching, Taylor and Francis, Reino Unido, v. 53, n. 1, p. 27-30, 2005.). En este sentido, se pueden hacer inferencias limitadas sobre la motivación, el conocimiento y la capacidad de pensamiento crítico de los oradores, si bien no se miden directamente.

  4. Los diversos ejemplos de comportamiento se ubicaron en los niveles correspondientes de los criterios o factores de evaluación previamente seleccionados, con el fin de facilitar la tarea de evaluación y también para clarificar a los estudiantes lo que se espera de ellos.

Como resultado de este trabajo se obtuvo la rúbrica que se puede consultar en su totalidad en el Anexo 1 ANEXO 1 Valoración del grupo Uniformidad de los medios de apoyo visuales Nivel Definición Ejemplos Deficiente Existen diferencias ostensibles de diseño entre las diferentes diapositivas utilizadas. Diferentes tipos de letras, tamaño, estilos, fondos, etc. entre los ponentes. Aceptable La mayor parte de las diapositivas utilizadas responden al mismo diseño. Solo cambian gráficos y tablas. Excelente El formato utilizado a lo largo de la presentación es homogéneo. No existe ninguna variación entre las diapositivas. Coordinación de la exposición Nivel Definición Ejemplos Deficiente No se ha efectuado un reparto adecuado de tiempos y cometidos para la presentación. No queda claro quién tiene que hacer cada parte de la exposición. Se expresan con vocabulario diferente. Aceptable El reparto de trabajo para la exposición es homogéneo. El contenido expuesto es similar en envergadura, así como el tiempo utilizado para hacerlo. Excelente Además de lo anterior, la sincronización entre los participantes es correcta. Se da la palabra el uno al otro y hace referencia cada uno a las partes expuestas por los demás. Calidad de las diapositivas utilizadas Nivel Definición Ejemplos Deficiente Hay varios errores en las diapositivas en cuanto a nitidez, tipografía, ortografía y diseño. Las imágenes no son nítidas, están mal enfocadas, alineadas o no identificables. El color elegido dificulta la lectura del texto. Aceptable Pequeños errores de formato, sin faltas de ortografía. Se admite algún error puntual en la justificación de párrafos, alineación de imágenes o tipografías diferentes entre diapositivas. Excelente No hay errores de formato y el diseño es especialmente atractivo. Gráficos, imágenes y texto se ven con precisión. La elección de colores y formatos es atractiva visualmente. Se diferencia en tamaño entre encabezados y texto. Orden y claridad en la presentación Nivel Definición Ejemplos Deficiente Las ideas están pobremente organizadas. Idea principal no entendida o no existe. No abre la presentación con un esquema de contenidos. Repite los contenidos en diferentes apartados. No agrupa contenidos en un orden lógico. No se presenta ni introduce el objetivo de la charla. Utiliza términos no comunes y no los explica. Aceptable Se sigue un orden coherente en la exposición, si bien faltan algunos elementos de ayuda. Explica las ideas principales, pero no expone un esquema de contenidos y/o conclusiones principales. Excelente Mantiene una secuencia lógica y ordenada entre cada una de las partes. Concluye con las ideas principales. La audiencia no se he perdido en toda la exposición y sabía de que estaba hablando en cada momento. Valoración individual Relación del discurso con las imágenes Nivel Definición Ejemplos Deficiente Las imágenes no están relacionadas con el contenido del trabajo. La imagen es graciosa o impactante, pero no aporta nada a la explicación. Aceptable Las imágenes tienen relación con el trabajo presentado, pero no aportan información esencial, solo repiten el contenido del discurso. La imagen es básicamente el discurso, pero proyectado en grande. Excelente Las imágenes apoyan claramente el contenido del discurso. El estudiante "interactúa" con las imágenes. Las imágenes han hecho que el discurso sea más interesante y lo enriquecen. Apoyo en el material escrito Nivel Definición Ejemplos Deficiente Siempre lee el material escrito (diapositivas, guión o similar). No mira al resto; sin guión le sería imposible exponer. Aceptable Lee el material en ocasiones puntuales, como apoyo a su discurso. Se lee una definición para dar precisión. Excelente Nunca lee el material. No se lo sabe de memoria, sino que domina la exposición. Tonalidad y modulación de la voz Nivel Definición Ejemplos Deficiente Tono monótono, sin inflexiones en la voz. No se le escucha. No destaca aspectos concretos de la presentación a través del tono de voz. Aceptable Tono adecuado, aunque no enfatiza lo importante. Se le oye bien, pero no siempre refuerza con su tono o volumen el mensaje. Excelente Utiliza los tonos y volúmenes de la voz para reforzar el mensaje. Hace pausas dramáticas después de lanzar una pregunta o un comentario, con el fin de generar atención. Claridad al hablar / vocalización Nivel Definición Ejemplos Deficiente No vocaliza adecuadamente. No se le entiende. Aceptable Habla bien y con naturalidad. Se le entienden las palabras. Pequeños problemas de entendimiento por vocalización. Excelente Se esfuerza por hablar con claridad suficiente para que lo entienda la audiencia. No se atropella con las palabras. Dominio del espacio Nivel Definición Ejemplos Deficiente No mira al público o se concentra en una parte muy reducida de la audiencia. Mira al techo, mira por la ventana, mira al suelo, mira al infinito del aula. Aceptable Reparte su mirada por el público, pero de manera irregular. Mira más tiempo al profesor que a los compañeros. Excelente Distribuye la mirada uniformemente por el público asistente. Incluye a todos en el discurso, alguna vez. Expresión corporal Nivel Definición Ejemplos Deficiente Muestra grandes gestos de nerviosismo durante la exposición. La postura corporal no está en consonancia con la exposición. Manos en los bolsillos, tics, temblores. Se apoya en el pupitre o la pared. Mastica chicle durante la exposición. Aceptable Mantiene una postura adecuada durante la exposición. No se apoya en el pupitre o pizarra. Se mueve por la zona de presentación de manera pausada. Excelente Además de lo anterior, refuerza con sus gestos el contenido de la presentación. Además del nivel anterior, utiliza las manos para señalar aspectos concretos de las diapositivas. Fuente: Elaboración a partir de los instrumentos aplicados a los valoradores. Elaboración de los autores. . La rúbrica está compuesta de diez criterios o factores de evaluación, que recogen las principales dimensiones de la competencia analizada. La creciente importancia del trabajo en equipo en el mundo del trabajo en general (Stevens; Campion, 1994Stevens, M. J.; Campion, M. A. The knowledge, skill, and ability requirements for teamwork: implications for human resource management. Journal of Management, Sage, Reino Unido, v. 20, n. 2, p. 503-530, 1994.) y en la comunicación empresarial materializada en presentaciones ejecutadas por grupos de dos o más personas nos llevaron, en primer lugar, a diseñar la actividad de exposición a través de equipos de dos personas y, a partir de ahí, a valorar su interacción y comportamientos durante la presentación. Por tanto, es preciso incluir aquellos factores necesarios para evaluar la correcta ejecución de una presentación realizada en equipo, que exige un trabajo colaborativo previo al momento de la exposición. A este respecto, se dedicaron cuatro de los diez criterios de evaluación al nivel de grupo: la uniformidad de los medios de apoyo visual (V1); la coordinación de la exposición (V2); la calidad de las diapositivas utilizadas (V3), y el orden y la claridad de la presentación (V4).

Por su parte, a fin de evaluar el desempeño individual de cada uno de los oradores se utilizaron los otros seis factores. Concretamente, se incorporaron los siguientes: la relación del discurso con las imágenes (V5); el apoyo en el material escrito (V6); la tonalidad y modulación de la voz (V7); la claridad al hablar/vocalización (V8); el dominio del espacio (V9), y la expresión corporal (V10).

Cada uno de los criterios o factores se valora en una escala de tres niveles (deficiente, aceptable, excelente), en los que se describe de forma detallada los requisitos necesarios para alcanzar dicho nivel de desempeño. Además, de cara a facilitar la interpretación de la rúbrica por los diferentes evaluadores, se incorporó una serie de ejemplos para cada factor y nivel de cumplimiento.

Es preciso aclarar que, con la rúbrica diseñada, únicamente evaluamos aquellas facetas que pueden ser valoradas a través de los comportamientos de los equipos y oradores durante la presentación oral, siguiendo las orientaciones de la National Communication Association (NCA), 2007NCA - National Communication Association. The competent speaker speech evaluation form. 2. ed. Washington, DC: National Communication Association, 2007.. Es decir, no se ha tenido en cuenta sus actitudes, motivaciones o emociones relacionadas con la actividad, ni las actuaciones previas de los equipos.

Además de los criterios anteriormente descritos, se valoró el factor “duración de la exposición”, que se medía de manera objetiva a través del uso de cronómetro. Dado que los estudiantes tenían limitada la duración de la presentación a cinco minutos por grupo, no ajustarse a este tiempo por defecto o por exceso suponía una penalización en la calificación final de la tarea. La evaluación estricta del tiempo de exposición, con repercusión en la calificación final de la actividad y, por tanto, de la asignatura, condiciona de manera clara la actuación de los estudiantes. No obstante, y dado que se podía medir dicho tiempo de manera objetiva, no se consideró necesario introducir un ítem específico a este respecto en la rúbrica.

Finalmente, es preciso destacar que mediante la rúbrica diseñada no se evalúan los aspectos relacionados con la calidad de los contenidos expuestos, puesto que se pretende únicamente evaluar aquellos aspectos observables en cuanto a la capacidad de comunicación durante la presentación oral, si bien ambos aspectos son interesantes en relación con la evaluación de la asignatura.

METODOLOGÍA

Con el fin de valorar la utilidad de la rúbrica diseñada para evaluar la competencia de comunicación oral, se decidió llevar a cabo una experiencia en el marco de la asignatura organización industrial y administración de empresas, asignatura troncal de 13,5 créditos, correspondiente al cuarto curso de la titulación de ingeniero industrial y que se imparte en el primer semestre, en la que participaron sesenta estudiantes.

Como primer paso, la rúbrica diseñada a partir de la literatura, fue sometida a revisión por parte de profesores del área de organización de empresas con experiencia previa en la evaluación de la adquisición de competencias orales. Esta revisión puso de manifiesto la necesidad de matizar algunos aspectos concernientes a la redacción, de cara a mejorar su comprensión, configurando la rúbrica que finalmente se aplicó.

El procedimiento seguido para la aplicación de la rúbrica es el que a continuación se detalla:

  1. La profesora responsable formó grupos de dos estudiantes a los que se les asignó un trabajo, que debían realizar en equipo, sobre una temática preestablecida encuadrada dentro del proyecto docente de la asignatura. A los estudiantes se les indicó que tenían que presentar oralmente el trabajo previamente elaborado, siguiendo las directrices establecidas por la profesora. Concretamente, los estudiantes, de acuerdo con el formato definido, disponían de cinco minutos para realizar su presentación, haciendo uso de diez diapositivas estáticas. De cara a preparar la presentación oral, los estudiantes tuvieron acceso a la rúbrica, que así mismo les fue explicada convenientemente en el aula, resolviéndose y aclarándose cuantas dudas se plantearon al respecto. Con el objetivo de conseguir una mayor implicación de los estudiantes, se vinculó la calificación obtenida en la presentación oral a la calificación final de la asignatura.

  2. Dado que la valoración de cada presentación por un único profesor no parecía resultar una medida fiable, como se apunta en el trabajo de Magin y Helmore (2001)Magin, D.; Helmore, P. Peer and teacher assessments of oral presentation skills: how reliable are they? Studies in Higher Education, Society for Research into Higher Education, Taylor and Francis, Reino Unido, v. 26, n. 3, p. 287-298, 2001., se decidió que las presentaciones de los estudiantes fuesen valoradas por un equipo de profesores. En concreto, cada una de las presentaciones sería evaluada por la profesora responsable de la asignatura y un profesor invitado, ajeno a la misma.

  3. Con el fin de mejorar los resultados de la aplicación de la rúbrica, Smith (1986)Smith, D. E. Training programs for performance appraisal: a review. Academy of Management Review, Academy of Management, New York, v. 11, p. 22-40, 1986. recomienda aplicar de forma combinada las siguientes estrategias de formación de valoradores: familiarizarlos con las dimensiones y escalas de valoración de la rúbrica, mostrarles ejemplos de errores típicos que se pueden producir en la evaluación y facilitarles un marco de referencia para identificar los distintos de niveles de ejecución. Por ello, previamente a la aplicación de la rúbrica, se la presentamos con antelación a los profesores para que se familiarizaran con la misma. Posteriormente, mantuvimos una reunión con los mismos para aclarar dudas y proponer ejemplos adicionales a los que se incluyen en la propia rúbrica, que les permitieran una mayor claridad y comprensión de la misma.

  4. Los días previstos para las exposiciones los estudiantes realizaron su presentación oral a la vez que los dos profesores asistentes (responsable e invitado) llevaban a cabo la evaluación según la rúbrica diseñada, de forma independiente.

  5. Tras finalizar las exposiciones, mantuvimos otra reunión con los valoradores con el fin de obtener su impresión sobre la rúbrica y su aplicación, así como posibles necesidades de mejora.

ANÁLISIS Y RESULTADOS

Una vez garantizada la validez de contenido de la rúbrica utilizada tanto por la revisión teórica efectuada como por la evaluación crítica a la que fue sometida por parte del grupo de profesores expertos en la evaluación de presentaciones orales, procedimos a la valoración del nivel de fiabilidad de la misma, el cual estimamos a través de diferentes métodos, tanto para calcular la consistencia intravalorador como para verificar la fiabilidad intervaloradores.

Por lo que se refiere a la consistencia intravalorador aplicamos el alpha de Cronbach a la rúbrica. El análisis de la fiabilidad intervaloradores se realizó a través de dos procedimientos:

  • En cuanto a la valoración holística, se calculó el nivel de asociación entre las puntuaciones globales dadas por los dos profesores a través del coeficiente de correlación de Pearson. Dichas puntuaciones globales se obtienen a través de un sumatorio de las puntuaciones en los distintos criterios analizados en la rúbrica. Puesto que era la primera aplicación de esta rúbrica en su formato actual, no aplicamos ponderaciones a los distintos criterios, asignando, por tanto, a todos ellos los mismos pesos relativos de cara a esa valoración holística.

  • A nivel analítico, el grado de acuerdo en la aplicación de la rúbrica entre los dos profesores se estimó a través del estadístico kappa de Cohen, generalmente utilizado en la investigación en esta área. La aplicación de este estadístico se realizó criterio a criterio, con el fin de evaluar cada uno de los elementos utilizados en la evaluación de la competencia.

La valoración realizada por la profesora responsable y el profesor invitado fue etiquetada para cada uno de los diez criterios asignándoles la siguiente puntuación en cada uno de ellos: 1 para deficiente, 2 para aceptable y 3 para excelente. Para analizar la fiabilidad de esta escala se calculó el estadístico alpha de Cronbach, tanto para el uso de la rúbrica por parte de la profesora responsable, como para el uso de la misma por parte del profesor invitado, obteniendo una fiabilidad de 0,87 y 0,86 respectivamente, por lo que se obtiene una buena consistencia interna (Cortina, 1993Cortina, J. M. What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, American Psychological Association, Washington, DC, v. 78, p. 98-104, 1993.) y podemos dar la escala diseñada por fiable.

Mediante la agregación de las puntuaciones para cada uno de los criterios obtuvimos una valoración holística de cada estudiante, que podría oscilar entre 10 y 30 puntos. En el Gráfico 1 se recoge la representación gráfica de esta valoración holística, en donde se muestra la distribución de la puntuación total obtenida por cada uno de los estudiantes a partir de la información de cada valorador, obteniendo así una primera aproximación al grado de homogeneidad en la valoración global por parte de los evaluadores.

Gráfico 1
Valoración holística. Distribución de las puntuaciones totales

En dicho gráfico se aprecia una ligera tendencia a puntuar más alto en el caso del profesor invitado que en el caso de la profesora responsable, pues la distribución de este parece algo asimétrica con más puntuaciones en la parte alta. De hecho, la distribución del profesor invitado presenta dos modas, mientras que la de la profesora responsable presenta tres.

Profundizando más en el grado de relación entre la puntuación global de los dos valoradores, podemos realizar un análisis de correlaciones, en cuyo caso, obtenemos un coeficiente de correlación lineal simple de 0,68, con una probabilidad asociada del 0%, por lo que es estadísticamente significativo y podemos decir que existe una relación positiva y relativamente alta entre la puntuación global de los dos valoradores, siendo esta del 68%. Este resultado está situado dentro del rango de lo que habitualmente se obtiene en este tipo de análisis en la literatura, que oscila entre el 55% y el 75%, tal y como indican Jonsson y Svingby (2007)Jonsson, A.; Svingby, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, Elsevier, Reino Unido, v. 2, n. 2, p. 130-144, 2007.. En estudios similares se entiende que un 70% es aceptable (Brown; Glasswell; Harland, 2004Brown, G. T. L.; Glasswell, K.; Harland, D. Accuracy in the scoring of writing: studies of reliability and validity using a New Zealand writing assessment system. Assessing Writing, Elsevier, Reino Unido, v. 9, p. 105-121, 2004.; Stemler, 2004Stemler, S. E. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 9, n. 4, s.p., 2004.), por lo que en este trabajo se roza ese nivel de aceptación. No obstante, hay que indicar que los niveles de fiabilidad de las rúbricas diseñadas para la evaluación de las competencias orales suelen ser más bajos (Jonsson; Svingby, 2007Jonsson, A.; Svingby, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, Elsevier, Reino Unido, v. 2, n. 2, p. 130-144, 2007.; Williams; Rink, 2003Williams, L.; Rink, J. Teacher competency using observational scoring rubrics. Journal of Teaching in Physical Education, Human Kinetics, Champaign, IL, v. 22, p. 552-572, 2003.), dado que las elecciones de los estudiantes sobre cómo configurar las presentaciones y cómo exponerlas hace que estas sean productos únicos, en cuya valoración es más difícil coincidir (Brennan, 1996Brennan, R. L. Generalizability of performance assessments. In: Gary, W. P. (Ed.). Technical issues in large-scale performance assessment. Washington, DC: National Centre for Education Statistics, 1996. p. 19-58.).

A la hora de ver el grado de homogeneidad en cuanto a la valoración de los diferentes criterios y, por tanto, en cuanto a la utilización de la misma rúbrica para evaluar al mismo estudiante, decidimos generar una variable que recogiera la diferencia entre la valoración de la profesora responsable y del profesor invitado. Esta variable tomaría el valor 0 cuando ambos profesores hubieran dado la misma puntuación, 1 cuando uno de los profesores se hubiese situado en el punto medio de la escala (aceptable) y el otro en uno de sus extremos (deficiente o excelente) y 2 cuando la opinión de los dos profesores fuera totalmente contrapuesta (deficiente frente a excelente).

El grado de acuerdo en la aplicación de la rúbrica entre los profesores evaluadores se puede analizar de acuerdo con dos procedimientos diferentes, uno más estricto y otro más laxo, tal y como se suele aceptar en este tipo de investigaciones (Tinsley; Weiss, 2000Tinsley, H. E. A.; Weiss, D. J. Interrater reliability and agreement. In: Howard, E. A. T.; Steven, D. B. (Eds.). Handbook of applied multivariate statistics and mathematical modeling. San Diego, CA: Academic Press, 2000. p. 95-124.). En el procedimiento más estricto, se podría considerar que existe acuerdo entre los evaluadores cuando asignan exactamente la misma puntuación (nivel) en los diferentes criterios de evaluación que conforman la rúbrica. En cambio, en el procedimiento laxo, se podría considerar que existe acuerdo cuando las valoraciones que otorgan ambos difieren, como máximo, un nivel.

En el Gráfico 2 se resume la información de la variable generada para el caso de los cuatro factores de valoración colectiva: uniformidad, coordinación, calidad y orden. En primer lugar, podemos observar un nivel de acuerdo unánime que oscila entre el 50% (para V3) y el 68% (para V2).

Gráfico 2
Valoración analítica. Diferencias entre las valoraciones de los factores a nivel de grupo

No obstante, si tomamos el referente más laxo y consideramos aceptable una variación de un punto entre la valoración de la profesora responsable y el profesor invitado, los porcentajes de homogeneidad se incrementan hasta superar el 90%, llegando a ser del 100% en el caso del factor “coordinación”.

A continuación, en el Gráfico 3, se muestra el resumen de la diferencia de puntuación otorgada por los dos valoradores en cuanto a los factores individuales. En este caso, el grado de coincidencia entre ambas puntuaciones es casi sistemáticamente superior al 50%, incrementándose en torno al 95% en el caso de tomar el referente más laxo de una diferencia de un punto entre ambos evaluadores. Sin embargo, se aprecian factores para los que la utilización de la misma rúbrica ha hecho que ambos evaluadores opinen exactamente lo opuesto, como es el caso de “apoyo escrito” y “dominio del espacio”. Una explicación posible a este hecho puede residir, tal y como manifestaron los valoradores en las reuniones mantenidas con posterioridad a las exposiciones, en que algunos de los ejemplos utilizados para ilustrar los niveles de ejecución de estos dos criterios no se ajustaban exactamente a la definición incluida en la rúbrica para dichos niveles.

Gráfico 3
Valoración analítica. Diferencias entre las valoraciones de los factores a nivel individual

Por su parte, la utilización del estadístico kappa nos permite ver de forma más precisa el nivel de concordancia entre la evaluación realizada por la profesora responsable y el profesor invitado (véase Cuadro 1). Calculamos este estadístico, en primer lugar, considerando que hay acuerdo entre los evaluadores tan solo cuando coincide la puntuación de los mismos y, a continuación, considerando que, en el caso de mostrar una diferencia de 1 punto, el nivel de acuerdo no es del 100%, sino del 75%. En estudios similares, la ponderación que se da a dicha diferencia de valoración de un punto es del 100%, como sucede en el trabajo de García-Ros (2011), que utiliza una rúbrica con cuatro niveles por criterio de valoración, por lo que la estimación de su estadístico kappa en el referente más laxo resulta superior. En nuestra aplicación hemos utilizado unas ponderaciones menos favorables (75%). Tanto en la aproximación laxa como en la estricta, vemos que el estadístico kappa es significativo para todos los ítems, a excepción de para el primero (V1), y que el valor promedio de kappa entre el referente estricto y el laxo pasa de ser un 0,29 a ser del 0,44. En este sentido, y dado que un valor de kappa entre 0,44 y 0,75 es aceptable (Stoddart et al., 2000Stoddart, T.; Abrams, R.; Gasper, E.; Canaday, D. Concept maps as assessment in science inquiry learning-A report of methodology. International Journal of Science Education, Taylor & Francis, Reino Unido, v. 22, p. 1.221-1.246, 2000.), podemos decir que existe un nivel de consenso suficiente a la hora de aplicar la rúbrica entre los valoradores.

Cuadro 1
Concordancia entre evaluadores

CONCLUSIONES

El modelo de educación superior que propugna el EEES potencia la capacitación de los estudiantes a través del desarrollo de las competencias más demandadas por las organizaciones de cara a la empleabilidad de los egresados. Entre las competencias clave para el futuro desarrollo profesional de los estudiantes se encuentran las relativas a la comunicación oral y el trabajo en equipo. La adquisición del nivel adecuado de dichas competencias está suponiendo un reto para los docentes universitarios, que están interesados en la búsqueda de sistemas que faciliten el aprendizaje y la evaluación de las mismas. En este sentido, existe un creciente interés en la rúbrica como herramienta que cumple con el doble propósito de propiciar el desarrollo de las competencias a alcanzar, así como mejorar los procesos de valoración de las mismas, aclarando y objetivando los criterios de medida. De este modo, se orienta a los estudiantes con respecto a los niveles de ejecución deseables, a la vez que se disminuye el posible sesgo entre los evaluadores ante un mismo evento.

Además, la aplicación de una rúbrica requiere el análisis previo de sus capacidades métricas, más aún cuando se utilicen las valoraciones obtenidas en relación con la evaluación sumativa de los estudiantes. Por tanto, se considera imprescindible evaluar su fiabilidad y validez. Así, el objetivo de este trabajo ha sido analizar la fiabilidad y validez de una rúbrica diseñada para orientar y evaluar habilidades de comunicación de los estudiantes universitarios, a través de su aplicación para la valoración de las presentaciones orales en equipo en una asignatura del área de organización de empresas en la titulación de ingeniero industrial.

Por una parte, la validez de la rúbrica queda garantizada por la revisión de la literatura realizada, así como por la evaluación crítica efectuada por profesores con amplia experiencia en la valoración de presentaciones orales. Con respecto a la fiabilidad, hemos analizado tanto la consistencia de las valoraciones de cada evaluador (intravalorador) como la consistencia entre las evaluaciones de distintos profesores (intervalorador). En lo que respecta a la fiabilidad intravalorador, se obtuvo una buena consistencia interna de la escala para cada uno de los profesores. En cuanto a la consistencia intervalorador, utilizamos un procedimiento holístico y otro analítico. Así, el procedimiento holístico reveló que existía una correlación positiva y relativamente alta entre la puntuación global de cada uno de los evaluadores. Por su parte, el procedimiento analítico demostró un nivel de consenso aceptable entre valoradores. En consecuencia, a la luz de los resultados obtenidos, podemos concluir que la rúbrica diseñada es válida y fiable, lo que permite su utilización como herramienta de evaluación de las competencias de presentación oral.

Uno de los factores que ha contribuido a la aceptación de la rúbrica como instrumento válido y fiable ha sido la formación previa de los valoradores a través de distintas acciones. No obstante, y, tal y como se reconoce en la literatura (e.g., Stuhlmann et al., 1999Stuhlmann, J.; Daniel, C.; Dellinger, A.; Denny, R. K.; Powers, T. A generalizability study of the effects of training on teachers' abilities to rate children's writing using a rubric. Journal of Reading Psychology, Taylor & Francis, Reino Unido, v. 20, p. 107-127, 1999.; Weigle, 1999Weigle, S. C. Investigating rater/prompt interactions in writing assessment: quantitative and qualitative approaches. Assessing Writing, Elsevier, Reino Unido, v. 6, p. 145-178, 1999.), la formación es importante, aunque no elimina totalmente las diferencias entre evaluadores, más aún si se considera que la competencia que se está evaluando presenta muchos matices en su apreciación.

De cara al futuro, nos planteamos trabajar en las siguientes líneas. En primer lugar, estimamos oportuno realizar mejoras en el diseño de la rúbrica como herramienta de evaluación. Concretamente, habría que revisar los ejemplos que ilustran los niveles de ejecución definidos en la rúbrica, con especial énfasis en los relativos al “apoyo escrito” (V6) y “dominio del espacio” (V9), que no presentaron unos resultados tan satisfactorios como el resto de los criterios utilizados. Asimismo, a partir de la experiencia llevada a cabo, creemos conveniente introducir en la rúbrica un ítem que posibilite la valoración de la calidad de ajuste al tiempo, y no solo la medición objetiva a través del cronómetro. Esto es así porque con la medición objetiva obviamos el ritmo mantenido durante la presentación, aspecto fundamental a valorar respecto a la competencia de comunicación oral.

En segundo lugar, nos planteamos introducir un último criterio de evaluación que recoja la impresión global de cada evaluador sobre la exposición. Esto permitiría analizar el nivel de coherencia entre las valoraciones desagregadas por criterios y la valoración holística. Asimismo, se podría identificar cuáles son los criterios a los que cada valorador otorga más importancia, pudiendo de esta forma sesgar los resultados.

En tercer lugar, el hecho de que la rúbrica diseñada defina pocos niveles para cada criterio facilita la evaluación a los valoradores, si bien puede forzarles a posicionarse en los niveles extremos. Es por ello que nos planteamos estudiar el efecto que tendría utilizar una escala con cuatro niveles sobre este posicionamiento extremo.

En cuarto lugar, una vez que la rúbrica está validada, sería interesante introducir a los estudiantes como valoradores, tanto para su autoevaluación como para la evaluación de sus pares. Esto aportaría una mayor riqueza a la evaluación y una mayor implicación de los estudiantes en su propio aprendizaje. Asimismo, se podría ampliar la aplicación de la herramienta en diferentes asignaturas y titulaciones, con el fin de comprobar la robustez de la misma en diferentes contextos.

Por lo que respecta a futuras acciones para mejorar la calidad de los resultados de los procesos de evaluación, pretendemos introducir herramientas formativas adicionales a las ya puestas en práctica en este trabajo. Esto es especialmente relevante cuando se introducen valoradores no habituados a evaluar este tipo de competencias, máxime cuando el resultado pueda incidir en la calificación final de los estudiantes. Por ejemplo, a partir de la grabación de exposiciones con distintos niveles de ejecución, se generarían marcos de referencia para los diversos tipos de evaluadores que intervendrán en futuras aplicaciones.

Por último, dado que la validez de la rúbrica ha sido evaluada en términos de contenido, sería deseable, tal y como recomienda la literatura (e.g., Jonsson; Svingby, 2007Jonsson, A.; Svingby, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, Elsevier, Reino Unido, v. 2, n. 2, p. 130-144, 2007.), poder validar la utilidad de la misma como verdadera herramienta de aprendizaje. Para ello, habría que hacer un análisis longitudinal con los mismos estudiantes de forma que se pudiera comprobar el incremento en su nivel competencial en los diferentes momentos de su aplicación.

  • 1
    El proceso de diseño y aplicación de esta rúbrica se puede consultar en Suárez-Falcón et al. (2011)Suárez-Falcón, H.; Fernández-Monroy, M.; Galván-Sánchez, I.; Dávila-Cárdenes, N.; González-Betancor, S. M. Preparando a los universitarios para el mundo profesional: Torneo 10 en 5-Idea de Negocio. In: Jornadas Internacionales de Innovación Universitaria, 8., 2011, Madrid. Actas de Congreso.... Madrid: Universidad Europea de Madrid y Bolívar-Cruz et al. (2011)Bolívar-Cruz, A.; Dávila-Cárdenes, N.; González-Betancor, S. M.; López-Puig, A. J.; Suárez-Falcón, H.; Verano-Tacoronte, D. Las competencias transversales y el Espacio Europeo de Educación Superior (EEES): una experiencia de evaluación de la competencia de comunicación oral en la ULPGC. In: Jornadas Internacionales de Innovación Universitaria, 8., 2011, Madrid. Actas de Congreso... Madrid: Universidad Europea de Madrid..

REFERENCIAS

  • Andrade, H. G. Teaching with rubrics: the good, the bad and the ugly. College Teaching, Taylor and Francis, Reino Unido, v. 53, n. 1, p. 27-30, 2005.
  • ______.; Du, Y. Student perspectives on rubric-referenced assessment. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 10, n. 3, p. 1-11, 2005.
  • Bolívar-Cruz, A.; Dávila-Cárdenes, N.; González-Betancor, S. M.; López-Puig, A. J.; Suárez-Falcón, H.; Verano-Tacoronte, D. Las competencias transversales y el Espacio Europeo de Educación Superior (EEES): una experiencia de evaluación de la competencia de comunicación oral en la ULPGC. In: Jornadas Internacionales de Innovación Universitaria, 8., 2011, Madrid. Actas de Congreso... Madrid: Universidad Europea de Madrid.
  • ______.; ______.; Fernández-Monroy, M.; Galván-Sánchez, I.; González- Betancor, S. M.; López-Puig, A. J.; Suárez-Falcón, H.; Verano-Tacoronte, D.; Dorta-González, P. Evaluación y fomento de la competencia de comunicación oral de los estudiantes universitarios. Revista Iberoamericana de Evaluación Educativa, Red Iberoamericana de Investigación sobre Cambio y Eficacia Escolar (RINACE), [s.n.], v. 6, n. 1, p. 17-28, 2013. Disponible en: <http://www.rinace.net/riee/numeros/vol6-num1/art01.pdf> Acceso en: 18 sept. 2013.
    » http://www.rinace.net/riee/numeros/vol6-num1/art01.pdf
  • Brennan, R. L. Generalizability of performance assessments. In: Gary, W. P. (Ed.). Technical issues in large-scale performance assessment Washington, DC: National Centre for Education Statistics, 1996. p. 19-58.
  • Brown, G. T. L.; Glasswell, K.; Harland, D. Accuracy in the scoring of writing: studies of reliability and validity using a New Zealand writing assessment system. Assessing Writing, Elsevier, Reino Unido, v. 9, p. 105-121, 2004.
  • Campbell, K. S.; Mothersbaugh, D. L.; Brammer, C.; Taylor, T. Peer versus self assessment of oral business presentation performance. Business Communication Quarterly, Sage, Reino Unido, v. 64, n. 3, p. 23-40, 2001.
  • Chase, C. I. Contemporary assessment for educators New York: Longman, 1999.
  • Cortina, J. M. What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, American Psychological Association, Washington, DC, v. 78, p. 98-104, 1993.
  • Fernández-March, A. La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de Docencia Universitaria, Vigo: Red Estatal de Docencia Universitaria, v. 8, n. 1, p. 11-34, 2010.
  • García-Ros, R. Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, Colegio Oficial de Psicología de Andalucía Oriental, v. 9, n. 25, p. 1.043-1.062, 2011.
  • Halfhill, T. R.; Nielsen, T. M. Quantifying the softer side of management education: an example using teamwork competencies. Journal of Management Education, Sage, Reino Unido, v. 31, n. 1, p. 64-80, 2007.
  • Jonsson, A.; Svingby, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, Elsevier, Reino Unido, v. 2, n. 2, p. 130-144, 2007.
  • López-Ruiz, J. I. Un giro copernicano en la enseñanza universitaria: formación por competencias. Revista de Educación, Ministerio de Educación, Cultura y Deporte, Madrid, v. 356, p. 279-301, 2011.
  • Luft, J. Design your own rubric. Science Scope, National Science Teachers Association (NSTA), Arlington, VA, February, v. 20, n. 5, p. 25-27, 1997.
  • Maes, J. D.; Weldy, T. G.; Icenogle, M. L. A managerial perspective: oral communication competency is most important for business students in the workplace. Journal of Business Communication, Association for Business Communication, Sage, Reino Unido, v. 34, n. 1, p. 67-80, 1997.
  • Magin, D.; Helmore, P. Peer and teacher assessments of oral presentation skills: how reliable are they? Studies in Higher Education, Society for Research into Higher Education, Taylor and Francis, Reino Unido, v. 26, n. 3, p. 287-298, 2001.
  • Marcelo, C. Las tecnologías para la innovación y la práctica docente. Revista Brasileira de Educação, Rio de Janeiro: ANPEd; Campinas: Autores Associados, v. 15, n. 52, p. 25-47, enero-abr. 2013. Disponible en: <http://www.scielo.br/pdf/rbedu/v18n52/03.pdf>. Acceso en: 20 oct. 2013.
    » http://www.scielo.br/pdf/rbedu/v18n52/03.pdf
  • Martos-Montes, R.; Callejas-Aguilera, J. E.; Ramírez-Fernández, E.; Estrella-Cañada, R. Entrenamiento y evaluación de la expresión oral. Iniciación a la investigación, Universidad de Jaén, Jaén, v. e4, n. c7, p. I-VII, Número Especial, 2010.
  • Mertler, C. A. Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 7, n. 25, 2001. Disponível em: <http://PAREonline.net/getvn.asp?v=7&n=25>. Acesso em: 28 out. 2015.
    » http://PAREonline.net/getvn.asp?v=7&n=25
  • Miller, G. E. The assessment of clinical skills/competence/performance. Academic Medicine, Journal of the Association of American Medical Colleges, Philadelphia, PA, v. 65, n. 9, p. 63-67, 1990.
  • Montgomery, K. Authentic assessment: a guide for elementary teachers. New York: Longman, 2001.
  • Nassif, V. M. J.; Hanashiro, D. M. M.; Torres, R. R. Fatores que influenciam na percepção das competências para o exercício da docência. Revista Brasileira de Educação; Rio de Janeiro: ANPEd, Campinas: Autores Associados, v. 15, n. 44, p. 364-412, maio/ago. 2010. Disponible en: <http://www.scielo.br/pdf/rbedu/v15n44/v15n44a12.pdf>. Acceso en: 23 oct. 2013.
    » http://www.scielo.br/pdf/rbedu/v15n44/v15n44a12.pdf
  • NCA - National Communication Association. The competent speaker speech evaluation form 2. ed. Washington, DC: National Communication Association, 2007.
  • Nitko, A. J. Educational assessment of students 3. ed.Upper Saddle River, NJ: Merrill, 2001.
  • Ramos-Álvarez, M.-M.; Luque, G. A competence-based constructivist tool for evaluation. Cultura y Educación, Fundación Infancia y Aprendizaje, Routledge, Reino Unido, v. 22, n. 3, p. 329-344, 2010.
  • Reddy, M. Y. Design and development of rubrics to improve assessment outcomes: a pilot study in a Master's level business program in India. Quality Assurance in Education, Emerald, Reino Unido, v. 19, n. 1, p. 84-104, 2011.
  • ______.; Andrade, H. G. A review of rubric use in higher education. Assessment & Evaluation in Higher Education, Taylor and Francis, Reino Unido, v. 35, n. 4, p. 435-448, 2010.
  • Reinsch Jr., N. L; Shelby, A. N. What communication abilities do practitioners need? Evidence from MBA students. Business Communication Quarterly, Association for Business Communication, Blacksburg, VA, v. 60, n. 4, p. 7-29, 1997.
  • Robertson, S. L. O processo de Bolonha da Europa torna-se global: modelo, mercado, mobilidade, força intelectual ou estratégia para construção do Estado? Revista Brasileira de Educação; Rio de Janeiro: ANPEd, Campinas: Autores Associados, v. 14, n. 42, p. 407-422, set./dez. 2009. Disponible en: <http://www.scielo.br/pdf/rbedu/v14n42/v14n42a02.pdf>. Acceso en: 22 oct. 2013.
    » http://www.scielo.br/pdf/rbedu/v14n42/v14n42a02.pdf
  • Smith, D. E. Training programs for performance appraisal: a review. Academy of Management Review, Academy of Management, New York, v. 11, p. 22-40, 1986.
  • Stemler, S. E. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Practical Assessment, Research & Evaluation, Department of Measurement, Statistics, and Evaluation at the University of Maryland, College Park, MD, v. 9, n. 4, s.p., 2004.
  • Stevens, M. J.; Campion, M. A. The knowledge, skill, and ability requirements for teamwork: implications for human resource management. Journal of Management, Sage, Reino Unido, v. 20, n. 2, p. 503-530, 1994.
  • Stoddart, T.; Abrams, R.; Gasper, E.; Canaday, D. Concept maps as assessment in science inquiry learning-A report of methodology. International Journal of Science Education, Taylor & Francis, Reino Unido, v. 22, p. 1.221-1.246, 2000.
  • Stuhlmann, J.; Daniel, C.; Dellinger, A.; Denny, R. K.; Powers, T. A generalizability study of the effects of training on teachers' abilities to rate children's writing using a rubric. Journal of Reading Psychology, Taylor & Francis, Reino Unido, v. 20, p. 107-127, 1999.
  • Suárez-Falcón, H.; Fernández-Monroy, M.; Galván-Sánchez, I.; Dávila-Cárdenes, N.; González-Betancor, S. M. Preparando a los universitarios para el mundo profesional: Torneo 10 en 5-Idea de Negocio. In: Jornadas Internacionales de Innovación Universitaria, 8., 2011, Madrid. Actas de Congreso... Madrid: Universidad Europea de Madrid
  • Tinsley, H. E. A.; Weiss, D. J. Interrater reliability and agreement. In: Howard, E. A. T.; Steven, D. B. (Eds.). Handbook of applied multivariate statistics and mathematical modeling San Diego, CA: Academic Press, 2000. p. 95-124.
  • Weigle, S. C. Investigating rater/prompt interactions in writing assessment: quantitative and qualitative approaches. Assessing Writing, Elsevier, Reino Unido, v. 6, p. 145-178, 1999.
  • Williams, L.; Rink, J. Teacher competency using observational scoring rubrics. Journal of Teaching in Physical Education, Human Kinetics, Champaign, IL, v. 22, p. 552-572, 2003.

ANEXO 1

Valoración del grupo Uniformidad de los medios de apoyo visuales Nivel Definición Ejemplos Deficiente Existen diferencias ostensibles de diseño entre las diferentes diapositivas utilizadas. Diferentes tipos de letras, tamaño, estilos, fondos, etc. entre los ponentes. Aceptable La mayor parte de las diapositivas utilizadas responden al mismo diseño. Solo cambian gráficos y tablas. Excelente El formato utilizado a lo largo de la presentación es homogéneo. No existe ninguna variación entre las diapositivas. Coordinación de la exposición Nivel Definición Ejemplos Deficiente No se ha efectuado un reparto adecuado de tiempos y cometidos para la presentación. No queda claro quién tiene que hacer cada parte de la exposición. Se expresan con vocabulario diferente. Aceptable El reparto de trabajo para la exposición es homogéneo. El contenido expuesto es similar en envergadura, así como el tiempo utilizado para hacerlo. Excelente Además de lo anterior, la sincronización entre los participantes es correcta. Se da la palabra el uno al otro y hace referencia cada uno a las partes expuestas por los demás. Calidad de las diapositivas utilizadas Nivel Definición Ejemplos Deficiente Hay varios errores en las diapositivas en cuanto a nitidez, tipografía, ortografía y diseño. Las imágenes no son nítidas, están mal enfocadas, alineadas o no identificables. El color elegido dificulta la lectura del texto. Aceptable Pequeños errores de formato, sin faltas de ortografía. Se admite algún error puntual en la justificación de párrafos, alineación de imágenes o tipografías diferentes entre diapositivas. Excelente No hay errores de formato y el diseño es especialmente atractivo. Gráficos, imágenes y texto se ven con precisión. La elección de colores y formatos es atractiva visualmente. Se diferencia en tamaño entre encabezados y texto. Orden y claridad en la presentación Nivel Definición Ejemplos Deficiente Las ideas están pobremente organizadas. Idea principal no entendida o no existe. No abre la presentación con un esquema de contenidos. Repite los contenidos en diferentes apartados. No agrupa contenidos en un orden lógico. No se presenta ni introduce el objetivo de la charla. Utiliza términos no comunes y no los explica. Aceptable Se sigue un orden coherente en la exposición, si bien faltan algunos elementos de ayuda. Explica las ideas principales, pero no expone un esquema de contenidos y/o conclusiones principales. Excelente Mantiene una secuencia lógica y ordenada entre cada una de las partes. Concluye con las ideas principales. La audiencia no se he perdido en toda la exposición y sabía de que estaba hablando en cada momento. Valoración individual Relación del discurso con las imágenes Nivel Definición Ejemplos Deficiente Las imágenes no están relacionadas con el contenido del trabajo. La imagen es graciosa o impactante, pero no aporta nada a la explicación. Aceptable Las imágenes tienen relación con el trabajo presentado, pero no aportan información esencial, solo repiten el contenido del discurso. La imagen es básicamente el discurso, pero proyectado en grande. Excelente Las imágenes apoyan claramente el contenido del discurso. El estudiante "interactúa" con las imágenes. Las imágenes han hecho que el discurso sea más interesante y lo enriquecen. Apoyo en el material escrito Nivel Definición Ejemplos Deficiente Siempre lee el material escrito (diapositivas, guión o similar). No mira al resto; sin guión le sería imposible exponer. Aceptable Lee el material en ocasiones puntuales, como apoyo a su discurso. Se lee una definición para dar precisión. Excelente Nunca lee el material. No se lo sabe de memoria, sino que domina la exposición. Tonalidad y modulación de la voz Nivel Definición Ejemplos Deficiente Tono monótono, sin inflexiones en la voz. No se le escucha. No destaca aspectos concretos de la presentación a través del tono de voz. Aceptable Tono adecuado, aunque no enfatiza lo importante. Se le oye bien, pero no siempre refuerza con su tono o volumen el mensaje. Excelente Utiliza los tonos y volúmenes de la voz para reforzar el mensaje. Hace pausas dramáticas después de lanzar una pregunta o un comentario, con el fin de generar atención. Claridad al hablar / vocalización Nivel Definición Ejemplos Deficiente No vocaliza adecuadamente. No se le entiende. Aceptable Habla bien y con naturalidad. Se le entienden las palabras. Pequeños problemas de entendimiento por vocalización. Excelente Se esfuerza por hablar con claridad suficiente para que lo entienda la audiencia. No se atropella con las palabras. Dominio del espacio Nivel Definición Ejemplos Deficiente No mira al público o se concentra en una parte muy reducida de la audiencia. Mira al techo, mira por la ventana, mira al suelo, mira al infinito del aula. Aceptable Reparte su mirada por el público, pero de manera irregular. Mira más tiempo al profesor que a los compañeros. Excelente Distribuye la mirada uniformemente por el público asistente. Incluye a todos en el discurso, alguna vez. Expresión corporal Nivel Definición Ejemplos Deficiente Muestra grandes gestos de nerviosismo durante la exposición. La postura corporal no está en consonancia con la exposición. Manos en los bolsillos, tics, temblores. Se apoya en el pupitre o la pared. Mastica chicle durante la exposición. Aceptable Mantiene una postura adecuada durante la exposición. No se apoya en el pupitre o pizarra. Se mueve por la zona de presentación de manera pausada. Excelente Además de lo anterior, refuerza con sus gestos el contenido de la presentación. Además del nivel anterior, utiliza las manos para señalar aspectos concretos de las diapositivas. Fuente: Elaboración a partir de los instrumentos aplicados a los valoradores. Elaboración de los autores.

Fechas de Publicación

  • Publicación en esta colección
    Jan-Mar 2016

Histórico

  • Recibido
    Dic 2013
  • Acepto
    Nov 2014
ANPEd - Associação Nacional de Pós-Graduação e Pesquisa em Educação Rua Visconde de Santa Isabel, 20 - Conjunto 206-208 Vila Isabel - 20560-120, Rio de Janeiro RJ - Brasil, Tel.: (21) 2576 1447, (21) 2265 5521, Fax: (21) 3879 5511 - Rio de Janeiro - RJ - Brazil
E-mail: rbe@anped.org.br