Capacidad predictiva de la evaluación de los pares y focos del modelo de acreditación institucional en Chile

Predictive capacity of peer evaluation and the focus of the institutional accreditation model in Chile

Capacidad predictiva de la evaluación de los pares y focos del modelo de acreditación institucional en Chile

Predictive capacity of peer evaluation and the focus of the institutional accreditation model in Chile

Emilio Rodríguez-Ponce^I; Nicolás Fleet^II; Milagros Delgado^III

^I Presidente de la Comisión Nacional de Acreditacion- Chile. Doctor en Ciencias Económicas y Empresariales - Universidad Complutense de Madrid, Magíster en Administración mención Finanzas - Universidad de Chile; Ingeniero Comercial y Licenciado en Ciencias de la Administración de Empresas - Universidad de Tarapacá. Chile. [e-mail]

^II Jefe del Departamento de Estudios de la Comisión Nacional de Acreditacion. MSc. in Political Sociology. London School of Economics and Political Science. Sociólogo- Universidad de Chile. Chile. [e-mail]

^III Departamento de Estudios de la Comisión Nacional de Acreditación. Master Business Administration- Universidad de Chile. Magíster en Educación a Distancia - Universidad de Tarapacá. Ingeniera Industrial - Universidad de Tarapacá. Chile. [e-mail]

RESUMEN

El presente artículo presenta los resultados de un estudio sobre los procesos de acreditación institucional realizados en Chile en el periodo 2003-2006. El propósito del estudio es estimar la capacidad predictiva que la evaluación externa realizada por los comités de pares tuvo sobre los resultados finales de acreditación institucional. Para ello, se generó un modelo de regresión, donde las calificaciones de los pares evaluadores - sobre las áreas de acreditación 'Gestión Institucional'y 'Docencia de Pregrado' - se ingresaron como variable independiente y los resultados de acreditación, expresados en la decisión de acreditación y los años de vigencia, como variable dependiente. Como resultados, se comprobó que existe consistencia entre las etapas de evaluación externa y de decisión de acreditación; que las calificaciones otorgadas por los pares en el área de 'Docencia de Pregrado' tienen mayor capacidad predictiva que aquellas otorgadas en el área de 'Gestión Institucional', y, por último; que hay elementos para plantear que el foco de 'evaluación' (en comparación al foco de 'auditoria') fue predominante en el modelo de acreditación institucional chileno entre los años estudiados.

Palabras Clave: Acreditación institucional. Evaluación de los pares. Modelo de acreditación.

ABSTRACT

This article presents the results of a study of the institutional accreditation processes that took place in Chile during the period of 2003 to 2006. The purpose of the study is to estimate the capacity of peer evaluation to predict the final results of institutional accreditation. Thus, a regression model was developed, in which the score given by the academic peers to the institutions -in the accreditation areas of 'Institutional Management' and 'Undergraduate Teaching Process' - were entered as the independent variable, and the accreditation results, expressed in the accreditation decision and the period of accreditation, were included in the model as the dependent variable. The results show that there is consistency between the peer evaluation and the accreditation decision; that the score given by the academic peer to the area of 'Undergraduate Teaching Process' has more capacity to predict the accreditation results than the score of the area 'Institutional Management'; and, that there are arguments to support that the focus on 'evaluation'(in comparison to the focus on audit) was predominant in the model of institutional accreditation in Chile during the studied period.

Key words: Institutional accreditation. Peer evaluation. Accreditation model.

1 INTRODUCCIÓN

El presente estudio tiene por objetivo analizar el modelo chileno de acreditación institucional, desde la perspectiva del efecto de la evaluación de los pares sobre la decisión de acreditación. Para ello, revisaremos los procesos de acreditación institucional conducidos por la Comisión Nacional deAcreditación de Pregrado (CNAP), que operó en Chile entre los años 1999-2007. Nuestra mirada se centra en las calificaciones que los pares evaluadores otorgaron a las instituciones durante la etapa de evaluación externa, considerando el conjunto de estas calificaciones como variable predictiva del proceso de toma de decisión de acreditación. Los resultados del estudio nos informarán acerca de la consistencia entre la etapa de evaluación externa y la etapa del pronunciamiento de la Comisión. Además, obtendremos elementos de análisis para interpretar las características modelo de acreditación institucional utilizado en Chile, en virtud del peso de las áreas de evaluación y la interrelación entre sus distintos focos, que son los que definen, en último término, la calidad de una institución.

La importancia de este análisis radica en que en el actual modelo de acreditación institucional, la evaluación de los pares constituye un componente considerable en el resultado final de acreditación, como se mostrará más adelante. En consecuencia, es relevante poder contar con un análisis pormenorizado acerca de su influencia sobre la toma de decisiones de acreditación institucional. Adicionalmente, los resultados del estudio aportan evidencia en un ámbito donde hay muy poca investigación empírica, contribuyendo, de esta manera, al estado del arte del estudio del aseguramiento de la calidad de la educación superior.

El periodo estudiado corresponde a los procesos de acreditación institucional realizados entre 2003 y 2006. Lamentablemente, no es posible replicar este estudio en la actualidad, dado que la modalidad de calificación en la evaluación de pares ha sido modificada. Con todo, los resultados conservan su valor para caracterizar, en base a la evidencia empírica, el modelo de acreditación institucional utilizado en Chile.

2 ASEGURAMIENTO DE LA CALIDAD DE LA EDUCACIÓN SUPERIOR

Las prácticas de aseguramiento de la calidad, desarrolladas internamente por las instituciones de educación superior, o conducidas externamente por instrumentos de política, han tenido que comenzar redefiniendo su objeto de aplicación: la calidad. En este punto ha habido bastante discusión, en particular sobre cómo articular las exigencias sociales, políticas, económicas o disciplinares en relación al estándar que debe cumplir la educación proveída por las instituciones de educación superior, por un lado, con la autonomía de estas últimas para determinar sus propósitos y la forma en que éstos son perseguidos, por el otro. De esta manera, calidad ha sido definida tanto desde una perspectiva externa, basada en la confianza de los stakeholders en que la provisión de una oferta educativa cumple con sus expectativas y estándares mínimos (HARVEY, 2004; HARVEY, 2007), como desde una perspectiva interna, centrada en las políticas y mecanismos institucionales para "la atención o vigilancia sistémica, estructurada y continua de la calidad en términos de su mantenimiento y mejoramiento". (VROEIJENSTIJN, 1995) Como síntesis, la propuesta de Sachs (1994) es bien aceptada justamente por combinar ambas perspectivas. Calidad se define, en consecuencia, vinculada al cumplimiento de los siguientes propósitos fundamentales:

· Aseguramiento de la calidad para el accountability (rendición de cuentas), caracterizado por el control externo y asociado a las estructuras administrativas centrales y auditores externos que miden cuantitativamente indicadores de éxito.

· Aseguramiento de la calidad para el mejoramiento, caracterizado por un control interno y asociado con las estructuras administrativas facilitadoras que usan la revisión de pares para evaluar más cualitativamente los indicadores de éxito.

En Chile, en las últimas dos décadas, el aseguramiento de la calidad de la educación superior ha sido incentivado y conducido a través de procesos de acreditación. Cada vez más, la educación superior de calidad se identifica con instituciones y programas acreditados, diluyendo percepciones o representaciones de calidad necesariamente asociadas a instituciones complejas, públicas, tradicionales o con prestigio.Asimismo, en el contexto de un crecimiento sostenido del sistema de educación superior chileno, los mecanismos 'consensuados' por la comunidad académica para el aseguramiento de la calidad no parecían ser suficientes para promover el mejoramiento de los resultados de todo el sistema ni hacer frente a los múltiples requerimientos del desarrollo social. Así, a finales de la década del noventa surge la acreditación en Chile, vinculada a diferentes propósitos: hacer más eficiente la asignación de recursos públicos a las instituciones de educación superior y la subvención a los estudiantes; favorecer la homologación internacional de grados académicos; promover la rendición de cuentas de instituciones públicas y privadas; atacar directamente problemas sensibles de la calidad de la educación superior, como programas y sedes deficientes; entre otros.

Como política pública, la acreditación se define por combinar la perspectiva de consistencia externa, por medio de la determinación de estándares de calidad para instituciones y programas, y la perspectiva de consistencia interna, promoviendo la capacidad de autorregulación y mejoramiento de la calidad de las instituciones de educación superior. (LEMAITRE, 2005)

3 FOCOS DE LA ACREDITACIÓN INSTITUCIONAL EN CHILE

La acreditación institucional ha sido el mecanismo más utilizado por las instituciones para dar fe pública acerca de la calidad de su oferta académica. Considerando la matrícula del sistema de educación superior, un 96% de los estudiantes forman parte de una institución que ha participado en los procesos acreditación institucional. Particularmente en las universidades, la cobertura de la acreditación institucional llega al 99% de la matrícula (CNA, 2009). Por lo tanto, es posible hablar de una cobertura universal de la acreditación institucional en el sistema de educación superior chileno. Ello implica que pese a que la acreditación institucional es un proceso voluntario, ha ido adquiriendo una connotación relativamente 'obligatoria'para las instituciones, en el sentido que entrega un sello de calidad que es fuente de prestigio y legitimidad en el contexto de la competencia por estudiantes.

La acreditación institucional se instala en Chile en 2003, como proceso experimental conducido por la CNAP. En esta etapa se llevaron a cabo un total de 66 procesos. Posteriormente, en 2006 la acreditación en Chile se convierte en un proceso regulado por ley y administrado por la recientemente creada Comisión Nacional de Acreditación CNA-Chile. En esta segunda etapa se han llevado a cabo otros 49 procesos de acreditación institucional, conservando las mismas pautas, criterios de evaluación e instrumentos desarrollados experimentalmente por la CNAP. El análisis realizado en este artículo se focaliza exclusivamente en la primera etapa de la acreditación institucional en Chile, donde los procesos fueron conducidos por la CNAP

Por tratarse de un proceso experimental, que ha obedecido a múltiples demandas sociales y políticas por rendición de cuentas, pertinencia en la oferta académica y educación de calidad, la acreditación institucional en Chile se ha desarrollado en base a un modelo híbrido en cuanto a sus focos. Este modelo combina el foco en la acreditación propiamente tal, junto con elementos de evaluación y auditoría académica:

a) En la literatura sobre educación superior, la acreditación se describe como la certificación de una institución que cumple con un umbral de calidad específico. El foco de la acreditación es comprensivo, examina la misión de una institución y analiza la aplicación de políticas y mecanismos de autorregulación. El resultado es una decisión binaria de acreditación (WOODHOUSE, 1999);

b) El foco de la evaluación se centra especialmente en el proceso de enseñanza, considerando el desempeño de profesores y en particular los resultados obtenidos por los estudiantes. A diferencia de la acreditación, la evaluación se constituye de juicios ponderados acerca de la calidad (DILL, 2000);

c) La auditoria, en el contexto de educación superior, tiene el foco los procesos institucionales de forma de verificar si éstos se realizanadecuadamente, en consistencia a la misión declarada y orientados a logro de los resultados esperados.

De acuerdo a un reciente informe de la OECD (2008), los enfoques mencionados se combinan en el modelo de acreditación chileno. Por un lado, la decisión de acreditación (si/no) se acompaña de gradaciones en la vigencia (años de acreditación), de acuerdo al grado de cumplimiento de los criterios de evaluación. En este sentido, en la decisión de acreditación se comprueba el influjo del foco de evaluación. Por otro lado, cada foco se asocia a un propósito específico: la acreditación está más relacionada a los objetivos del accountability, la auditoria a propósitos más cualitativos asociados al mejoramiento, mientras que la evaluación se sitúa entre ambos objetivos de accountability y mejoramiento.

La interacción de focos abre preguntas relevantes acerca de qué elementos son finalmente los que adquieren mayor gravitación para explicar el resultado de acreditación institucional. Para responder, es preciso conocer cómo se articula el proceso de acreditación, las etapas que lo componen, y así llegar al momento final de la decisión de la Comisión. En todo caso, una discusión de este tipo debe avanzar en superar las limitaciones metodológicas que, de entrada, son planteadas por procesos de acreditación que se conducen caso-a-caso.

4 PROCESO DE ACREDITACIÓN INSTITUCIONAL

La acreditación institucional es voluntaria. Esta característica domina el desarrollo de todo el proceso, ya que es el proyecto institucional, definido autónomamente, el que determina la aplicación de los criterios de evaluación. Sobre esta definición fundamental, se evalúa la efectividad de políticas y mecanismos orientados al aseguramiento de la calidad, en virtud de estándares objetivos. Es decir, a partir de la muestra de consistencia interna, la acreditación exige consistencia externa.

Los estándares externos del proceso de acreditación institucional consideran las áreas mínimas de Gestión Institucional y Docencia de Pregrado, las que se pueden complementar con áreas adicionales como Docencia de Postgrado, Investigación y Vinculación con el Medio. Los criterios de evaluación del área de Gestión Institucional comprenden la organización institucional y el sistema de gobierno; la administración de recursos humanos, materiales y financieros; y los mecanismos de planificación estratégica. El foco de la auditoria académica predomina particularmente en esta área de acreditación, en el sentido de asegurar que los procesos de la gestión institucional se ajusten a las definiciones de política, reglamentos y resultados esperados. Por otro lado, los criterios de evaluación del área de Docencia de Pregrado se centran en el diseño de la oferta académica, la efectividad del proceso de formación y la generación de información para fines de mejoramiento continuo. En esta área, el foco se dirige principalmente a evaluación de resultados. Finalmente, el proceso de acreditación institucional se completa en tres etapas, como se muestran en el gráfico 1 y es explicado a continuación:

· En primer lugar, al igual que en aplicación de los criterios de evaluación, el proceso comienza por la mirada de consistencia interna, en este caso, se trata de la etapa de la autoevaluación de la institución. Consiste en un proceso analítico de consulta a fuentes internas y externas (stakeholders), orientado a evaluar la efectividad de los mecanismos de aseguramiento de la calidad en la institución.

· Seguidamente, un comité de pares conduce la etapa de evaluación externa, que verifica en terreno las conclusiones de la autoevaluación en relación a la calidad de la institución en las áreas de evaluación específicas.

· Por último, la CNAP adopta la decisión de acreditación, con argumentos basados en el análisis de los antecedentes obtenidos en el informe de autoevaluación y el informe de evaluación externa.

Las etapas del proceso de acreditación institucional son secuenciadas y, en cierto sentido, acumulativas. La autoevaluación y la evaluación externa se relacionan de una manera horizontal, en la medida que corresponde a la construcción colectiva, entre pares académicos, del análisis de la institución. La etapa de pronunciamiento de la Comisión, en cambio, convierte este carácter horizontal de la evaluación en una sanción vertical, ya que pondera las dos etapas anteriores y las traduce en un juicio categórico de acreditación.

En este punto, nos interesa especialmente conocer acerca de la consistencia que existe entre la etapa de la evaluación externa, realizada por los pares evaluadores, y el pronunciamiento de la CNAP, que determina la decisión final de acreditación. Esta pregunta nos conduce, justamente, al propósito del estudio: establecer la capacidad predictiva de la evaluación de los pares sobre la decisión de acreditación. Los resultados contribuyen a entender cómo se articulan las etapas del proceso de acreditación institucional en Chile y también aportan elementos para discutir sobre el foco que ha predominado en las decisiones de acreditación institucional en el periodo 2003-2006.

5 METODOLOGÍA DEL ESTUDIO

La metodología del estudio utiliza las calificaciones contenidas en el informe de evaluación externa, que condensan los juicios evaluativos de los pares en las áreas de acreditación institucional, como variables independientes para explicar los resultados de acreditación. Se trata de un modelo predictivo del proceso de acreditación institucional en Chile.

El informe de pares constituye el punto de partida de nuestro modelo. El contenido del informe se desarrolla separadamente para cada área de acreditación institucional. Nuestro análisis se centrará exclusivamente en aquellas áreas definidas como obligatorias: Gestión Institucional y Docencia de Pregrado. En cada una de estas áreas los pares evaluadores deben ir construyendo sus juicios en base a la aplicación de un instrumento que operacionaliza los criterios de evaluación y los expresa en calificaciones ordinales, de acuerdo al grado de cumplimiento de la institución en cada item: totalmente (5), satisfactorio (4), suficiente (3), escaso (2), no se cumple (1). Por esta razón, la primera etapa del estudio corresponde al análisis de fiabilidad del instrumento de evaluación que utilizan los pares para construir su informe de evaluación externa. Para ello, se aplico el coeficienteAlfa de Cronbach en las dimensiones de Gestión Institucional (integrada por 11 ítems) y Docencia de Pregrado (8 items).

La segunda etapa tiene por objetivo estimar el peso de la evaluación externa sobre el resultado de acreditación. Para ello, se realizarán dos cálculos.

· El primero consiste en una regresión múltiple, que predice los años de acreditación obtenidos por las instituciones a partir de las calificaciones asignadas por los pares en las áreas obligatorias de acreditación institucional. Aquí las calificaciones de los pares se traducen a números de 1 a 5 (desde incumplimiento hasta cumplimiento total), como variable independiente, y los años de acreditación, de 1 a 7, como variable dependiente. Cabe destacar que para conservar la continuidad del modelo de regresión se utilizó una secuencia de 1 a 7 en los años de acreditación, dejando el valor 1 como "no acreditación". Las razones que justifican este ajuste metodológico son para mantener la continuidad del modelo y para evitar 'valores inflados' en el beta que explica cuánto varían los años de acreditación otorgados a una institución según los puntajes asignados por los pares en ambas dimensiones. En otras palabras, si se asigna a la 'no acreditación' el valor 0 años, se corre el riesgo de inflar artificialmente en la regresión el peso de los puntajes asignados por los pares en las dimensiones de evaluación, ya que el 'salto' de la no acreditación a los dos años de acreditación mínima es un intervalo de dos unidades, mientras que las variaciones en los años de acreditación se distribuye uniformemente en intervalos de una unidad.

· El segundo cálculo es una regresión logística, que predice la presencia o ausencia de acreditación otorgada por la CNAP (como variable dependiente dicotómica) a las instituciones a partir de la calificación de los pares evaluadores en las áreas de Gestión y Docencia.

Para el cálculo de las regresiones se contó con una muestra de 53 casos, correspondientes al 80% del total de procesos de acreditación institucional conducidos por la CNAP. El restante 20% de los casos no fueron incluidos por contar con datos incompletos.

Como se ha planteado, tanto el análisis de fiabilidad como el modelo de regresión consideran sólo las áreas obligatorias de acreditación de acreditación de Gestión Institucional y Docencia de Pregrado, dejando fuera las áreas electivas, lo cual podría distorsionar los resultados en el caso de las instituciones que se acreditaron en áreas electivas. Para analizar este efecto se aplicaron los coeficientes de distancia de Cook y Leverage, que precisan cuáles son los casos que distorsionan los resultados de la regresión.

6 ANÁLISIS DE DATOS

6.1 Primera etapa: consistencia interna del instrumento de evaluación institucional

Los resultados de la prueba de consistencia interna de Alfa de Cronbach sobre las dimensiones de Gestión Institucional y Docencia de Pregrado del instrumento de evaluación institucional dan cuenta de una fuerte correlación entre los ítems. La dimensión de Gestión Institucional tuvo un coeficiente de 0,89 mientras que el resultado de la dimensión de Docencia de Pregrado fue de 0,78. En síntesis, el instrumento es confiable como herramienta de evaluación de los pares y para utilizar los puntajes arrojados como variable predictiva de la decisión de acreditación.

6.2 Segunda etapa: capacidad predictiva de la evaluación de los pares sobre la decisión de acreditación

a) Modelo predictivo para años de acreditación según calificación de los pares evaluadores en Gestión Institucional y Docencia de Pregrado

La regresión asume que existe una relación lineal entre cada variable predictora y la variable dependiente; a continuación se presentan en los gráficos 1 y 2 dichas relaciones. Se aplicó una variación al azar en la posición de los puntos superpuestos, para poder visualizar todos los casos.

Ambos gráficos muestran que las variables son apropiadas para una regresión lineal, siendo que a mayor calificación en cada una de ellas aumentan los años de acreditación de la institución. Pese a ello, se observan algunos casos atípicos que podrían ser influyentes en los resultados del análisis.

Al introducir las dos variables predictoras directamente en el modelo, se obtienen los siguientes resultados, tabla 1, 2 y 3.

El valor de R señala la correlación entre los valores observados y los valores predichos bajo el modelo. El valor de R al cuadrado, o coeficiente de determinación, indica la variación explicada por el modelo. En este caso, la correlación es alta y el modelo logra explicar poco más del 50% de la variación de la variable 'años de acreditación'.

El análisis de varianza muestra la capacidad predictiva y la validez estadística del modelo. Los valores de la suma de cuadrados indican la variación explicada por la regresión y aquella no explicada (residuo), pudiéndose comprobar nuevamente que el modelo explica poco más del 50%. El valor de 0,000 de Sig. muestra que el modelo tiene significación estadística.

Los valores del coeficiente B indican el peso de las variables independientes en la ecuación de predicción. Con una constante inicial de -2,333, cada punto en Gestión Institucional aumenta en 0,707 los años de acreditación, mientras que cada punto en Docencia aumenta en 0,993 los años de acreditación. De esta forma, se observa que en el modelo de predicción, la dimensión Docencia tiene una ponderación más alta que la dimensión Gestión Institucional. Para identificar los casos atípicos que podrían causar alguna distorsión en el modelo, se obtuvieron los valores de la distancia de Cook y la distancia de Leverage. La distancia de Cook mide cuánto cambian los residuos de todos los casos si es que el caso en particular es excluido del modelo; los valores de Leverage indican la influencia de cada caso en el ajuste de la regresión. Se representaron los casos según los valores de Cook y Leverage en un gráfico de dos ejes, pudiendo así distinguir aquellos con mayor peso e influencia, ver gráfico 4. Tres instituciones posiblemente causan distorsión en el modelo; una con alto valor en ambas distancias, y dos con alto valor en la distancia de Cook.

En los casos de las dos institución con alto valor en la distancia de Cook, las razones de las distorsiones introducidas al modelo podrían deberse a que dichas instituciones no sólo se acreditaron en las áreas obligatorias de Gestión Institucional y Docencia de Pregrado, sino que también por las áreas electivas de Investigación, Docencia de Postgrado, Vinculación con el Medio e Infraestructura y Equipamiento. Se asume que el resto de las instituciones incluidas en el cálculo que también se acreditaron por áreas electivas no tuvieron resultados dispares entre las áreas obligatorias y las electivas de acreditación. El caso de la institución con altos valores, tanto en Cook como en Leverage, es diferente, ya que esta institución sólo se acreditó por las áreas obligatorias, que si están incluidas en el modelo.

Para aislar el efecto de estas instituciones, se calculó la regresión nuevamente, pero sin incluir los casos atípicos identificados. Los resultados son los siguientes:

El aumento del coeficiente de determinación indica que al no incluir las tres instituciones atípicas, el modelo aumenta su poder explicativo. Por otra parte, el coeficiente B para Gestión Institucional aumenta, mientras que el de Docencia disminuye, tendiendo ambas variables predictoras a equipararse en su ponderación.

B) Modelo predictivo para la decisión binaria de acreditación institucional según calificación de los pares evaluadores en Gestión Institucional y Docencia de Pregrado

A través de un modelo de regresión logística se estimó el carácter predictivo de las calificaciones en Gestión Institucional y Docencia de Pregrado sobre la ocurrencia de la acreditación de una institución. Las dos variables fueron incluidas directamente en el modelo.

Una vez incorporadas las variables predictoras al modelo, un 86,8% de los casos son clasificados correctamente.

La ponderación de las variables predictoras se expresa en Exp(B), siendo este un factor de la probabilidad de ocurrencia del suceso a predecir. Es de notar que Gestión Institucional (CALIFI) no es estadísticamente significativa, de forma que con procedimientos más rigurosos para la incorporación de variables, esta no habría sido incluida en el modelo. Por su parte, la calificación en Docencia (CALIFD) sí aporta valor predictivo, aumentando las probabilidades de ocurrencia de la acreditación en 11,693 veces por cada punto obtenido en esta dimensión.

De acuerdo a nuestro modelo de regresión logística, para predecir si una institución logra o no la acreditación, la calificación de los pares en el área de Gestión Institucional no provee información que no esté contenida en la variable Docencia. Esto diferencia el modelo de regresión logística del de regresión múltiple, donde las calificaciones en el área de Gestión Institucional si explican las variaciones en los años de acreditación, aunque de todas maneras lo hacen en menor medida que las calificaciones en el área de Docencia de Pregrado.

7 DISCUSIÓN DE RESULTADOS: PARTICULARIDADES DEL MODELO DE ACREDITACIÓN INSTITUCIONAL CHILENO

El resultado más relevante del estudio es mostrar que existe consistencia entre las etapas de evaluación externa y pronunciamiento de la Comisión en los procesos de acreditación institucional conducidos por la CNAP. En el modelo de regresión múltiple, las calificaciones de los pares explican en un 50% la decisión final de acreditación institucional. Esto significa que las variaciones en los puntajes asignados por los pares evaluadores a las instituciones en las áreas de Gestión Institucional y Docencia de Pregrado explican en un 50% las variaciones en los años de acreditación asignados.

Existen varias maneras de interpretar estos resultados, en la medida en que no tenemos la información completa para analizar la consistencia entre las tres etapas del proceso de acreditación institucional. Al mismo tiempo, hay que considerar que la evaluación es acumulativa: la evaluación externa valida un proceso de anterior de autoevaluación de la institución, mientras que la decisión final de acreditación considera tanto el informe de autoevaluación como el informe de pares, que, entendemos, en una buena medida se explica por el proceso de autoevaluación que le antecede. En este contexto, es imposible entender las etapas de la acreditación de manera aislada.

Una primera forma de interpretar nos conduce al proceso de toma de decisión de acreditación, como tal. De manera general, los resultados indican que un 50% de la decisión está predeterminada por las calificaciones de los pares. El restante 50% entonces, ¿A qué corresponde? La toma de decisión de acreditación procesa y pondera el informe de autoevaluación junto al informe de pares, de modo que no se limita a reproducir la evaluación realiza por los pares evaluadores. Al contrario, el trabajo de la Comisión de Acreditación evalúa la totalidad de antecedentes en que se basa la decisión de acreditación: informe de autoevaluación, informe de pares, además de antecedentes adicionales que puedan ser tenidos en vista.

Una segunda manera de interpretar, es que las calificaciones globales de los pares en las áreas de Gestión Institucional y Docencia de Pregrado constituyen la condensación de los juicios evaluativos, que son susceptibles de expresarse como una escala de puntajes, pero no reemplazan necesariamente los juicios evaluativos en si. En este sentido, habría un conjunto de antecedentes cualitativos, en términos de análisis, evaluaciones, interpretaciones y juicios que no estarían siendo consideradas en nuestro modelo y que serían tomadas en cuenta por la Comisión en su decisión de acreditación. En consecuencia, el 50% explicado por las calificaciones de los pares podría perfectamente ser mayor si se toman en cuenta los antecedentes aportados por el conjunto del informe de pares.

Por último, habría una proporción de la decisión final de acreditación, que hasta el momento es desconocida pero es menor al 50%, correspondiente al aporte puro de la Comisión, que obedece a su análisis caso a caso. No olvidemos que los esquemas de acreditación en general culminan con una instancia de toma de decisiones que no se limita únicamente repetir lo que se señala en los informes anteriores de autoevaluación y evaluación externa. De hecho, es en esta porción del resultado final de acreditación donde se sintetiza la información de las etapas precedentes, se aplican miradas comparativas entre las diversas instituciones evaluadas y se combinan los focos de la acreditación institucional, detallados en el punto 3. En relación a esto último, la forma en que se combinan los tres focos del modelo chileno de acreditación (auditoria, evaluación y acreditación) sólo puede ser conocida a cabalidad a través de un análisis pormenorizado del proceso de toma de decisiones que antecede la etapa del pronunciamiento de la Comisión. En todo caso, como se ha planteado, con la información que contamos no es posible estimar su peso específico.

Los resultados de nuestro modelo predictivo, cuyo propósito original era estimar la consistencia entre la etapa de evaluación de los pares y la decisión de acreditación, también arrojó información adicional muy valiosa para interpretar el proceso de acreditación institucional en su conjunto. Los resultados nos permiten diferenciar el peso de las áreas de Gestión y Docencia sobre la decisión final de acreditación. Se trata de un conocimiento particularmente relevante, ya que los pares evaluadores se limitan a evaluar y calificar el desempeño de las instituciones de educación superior en cada área de manera separada, sin realizar ningún tipo de ponderación entre ellas. Así, las diferencias existentes en el peso de las áreas de Gestión y Docencia sobre el resultado de acreditación corresponden a un efecto exclusivo del proceso de toma de decisiones de la Comisión. Por lo tanto, sostenemos que los datos empíricos obtenidos de los resultados permiten iluminar parcialmente, pero por primera vez, acerca de los focos que predominan en el modelo de acreditación institucional chileno.

Como se discutió en el punto 6. sobre el análisis de los datos, el modelo de regresión múltiple otorga mayor peso a la dimensión Docencia por sobre la dimensión Gestión Institucional. Cada punto en Docencia aumenta los años de acreditación en 0,993, mientras que cada punto de Gestión Institucional aumenta 0,286 los años de acreditación otorgado por la CNAP. A su turno, el modelo de regresión logística profundiza el efecto de la variable Docencia de Pregrado. Considerando la probabilidad de ocurrencia de la acreditación institucional, las calificaciones asignadas por los pares en el área de Gestión Institucional no tienen significación estadística. De este modo, únicamente las calificaciones de los pares en Docencia de Pregrado tienen capacidad explicativa sobre la decisión de la CNAP de acreditar o no acreditar una institución de educación superior.

Existen variadas interpretaciones e implicancias asociadas a los resultados presentados. Es particularmente interesante constatar que el modelo de acreditación institucional instalado experimentalmente por la CNAP estuvo fuertemente cargado a la evaluación de la docencia. Asimismo, es relevante conocer que esta tendencia no ocurría en las etapas de autoevaluación y evaluación externa (las que emiten juicios evaluativos sin poner a ninguna área de acreditación por sobre la otra), sino que sólo se producía en la última etapa del proceso de acre-ditación: la decisión de la Comisión. Ello, da cuenta que la toma de decisiones de acreditación en el periodo 2003-2006 tuvo como principal foco la 'evaluación'. En efecto, el área de docencia concentra los resultados del proceso de formación, tales como deserción, retención, titulación, colocación laboral, que son aquellos que caen bajo el foco de la evaluación. Por contraparte, el área de gestión institucional concentra evidencia acerca de los procesos, reglamentos y planificación, que constituyen los objetos privilegiados del foco de 'auditoría'.

Lo anterior plantea preguntas sustantivas. En la literatura internacional sobre acreditación institucional existe un claro consenso en el sentido que los impactos son más visibles en el área de la gestión institucional que en el área de la docencia. Es decir, la acreditación se asocia claramente a mejoramientos en la calidad de la gestión, pero no existen evidencias para afirmar lo mismo en relación a la calidad de la docencia. Steansaker (1999), por ejemplo, recuerda que "un creciente número de estudios sobre los resultados e impacto del aseguramiento de la calidad tienen dificultades en proveer evidencia valiosa en relación a que los procesos más relevantes de la educación superior - enseñanza y aprendizaje-han mejorado como consecuencia". En esta misma línea, Harvey y Newton (2004), sostienen que la mayoría de los estudios de impacto se han enfocado en los efectos que el monitoreo externo tiene en los académicos, los procedimientos internos y las estructuras de gestión. Esto evidencia un vacío en relación a información sobre el impacto en la calidad de la enseñanza. En consecuencia, el modelo de acreditación chileno tendría una característica atípica, en la medida en que se centra en un aspecto en cual la acreditación institucional no aporta evidencia concluyente de impacto ni mejoramiento efectivo: la calidad de la docencia.

Es necesario separar niveles. Por un lado, está la evaluación y la toma de decisiones de acreditación, que en el caso chileno hemos visto se ha centrado en el área de docencia y en el foco de evaluación. Por el otro, está la medición de impacto que, según la literatura, faltan evidencias para aseverar si la acreditación contribuye a mejorar la calidad del proceso de enseñanza-aprendizaje. Es esperable que ambos niveles puedan coincidir, pero esto no es necesariamente así.

La falta de evidencia sustancial del impacto de la acreditación en la docencia puede deberse; primero, a la dificultad de aislar los efectos atribuibles directamente a la acreditación sobre el proceso enseñanza aprendizaje. Segundo, a que, notoriamente, la acreditación consigue efectos directamente visibles sobre la Gestión Institucional, que se reflejan incluso en la generación de estructuras organizacionales específicas vis-a-vis los procesos de acreditación. Con todo, cabe preguntarse si la acreditación al generar impactos positivos sobre la gestión institucional, contribuye en la misma medida al mejoramiento de la experiencia docente, especialmente si tenemos en consideración el modelo de acreditación institucional en Chile.

Asistimos aquí a un dilema de la acreditación. Como plantean Fernández y Stock (2007), la gestión asociada a áreas como la investigación y la enseñanza de la educación superior tiene límites concretos, que no permiten controlar el fenómeno en sí. Es decir, la gestión de la docencia sólo podría ser entendida por la acreditación en términos de la planificación y de los outputs, de acuerdo a un esquema de racionalidad técnica que interpela a la enseñanza desde el punto de vista organizacional. En este sentido, que exista una gestión óptima de la docencia, incluso reflejándose esta gestión en mejores resultados, no se asocia necesariamente a que el proceso de enseñanza-aprendizaje como tal constituya una experiencia significativamente superior o de mayor calidad. Es claro que en el ámbito de la docencia no hay reglas calculables para la transformación de un input en un output, de la misma manera que la organización tampoco puede controlar totalmente el reconocimiento que el output (egresado) encuentra en el mercado laboral. Por cierto, es posible determinar cuántos egresados por año y con qué tipo de certificación abandonan la universidad. Pero la información acerca de si la enseñanza fue "exitosa" no se puede deducir totalmente de ello.

A nuestro juicio, este dilema en el caso chileno se resuelve ajustando el foco de la evaluación en el área docencia. Es decir, en lugar de enfatizar en la experiencia del proceso de formación, por ejemplo, a través de encuestas de satisfacción de los estudiantes, se inclina a evaluar la 'gestión'de la Docencia de Pregrado, considerando el aseguramiento de la calidad a nivel de sus propósitos y objetivos; las condiciones de operación y recursos humanos y organizacionales que participan en el proceso de enseñanza; y los resultados conseguidos a lo largo del plan de estudios (progresión) y al final del proceso de formación (seguimiento de egresados). En nuestra perspectiva, el modelo de acreditación chileno, al enfatizar en los aspectos señalados, se focaliza efectivamente en las condiciones necesarias para fortalecer y avanzar hacia procesos de enseñanzaaprendizaje exitosos. Estos mecanismos de formalización, en consecuencia, si pueden ser medidos y evaluados tanto en su formulación como en su implementación, independientemente de las dificultades existentes para explicar la calidad de la docencia propiamente tal. Sin perjuicio de lo anterior, el modelo de acreditación puede enriquecerse a través de una mayor consideración de la experiencia de los estudiantes y académicos en el proceso de formación.

8 CONCLUSIONES

El estudio presentado en este artículo constituye la primera entrada empírica al modelo de acreditación institucional de la educación superior en Chile, que intenta arrojar luces acerca de la consistencia entre las etapas que lo componen y acerca del foco que subyace a la toma de decisión de acreditación. Las limitaciones en los datos hacen posible respuestas parciales, a la vez que se abren nuevas preguntas y líneas de investigación.

El estudio da cuenta del rol de la evaluación externa en la toma de decisiones de acreditación institucional, en el periodo 2003-2006, considerando la capacidad predictiva de las calificaciones de los pares evaluadores sobre el resultado final del proceso. Como resultado, el factor evaluación externa logra explicar un poco más del 50% de la variación en los años de acreditación, reafirmando en los casos concretos la consistencia teórica del modelo.

Como resultado no esperado del estudio, se logró determinar la influencia particular de las calificaciones de los pares en las áreas de Gestión Institucional y Docencia de Pregrado, de manera diferenciada, sobre la decisión final de acreditación. Así, pudimos conocer que el modelo de acreditación institucional chileno, durante el periodo 2003-2006, estuvo claramente enfocado hacia área de la docencia. La regresión logística aplicada, en particular, es categórica en explicar la decisión binaria de acreditación exclusivamente en función de las calificaciones de los pares en el área de docencia. Este descubrimiento es relevante para discutir sobre el foco que predomina en la decisión de acreditación institucional. En efecto, es en el área de Docencia de Pregrado donde prevalece el foco de 'evaluación de resultados', que concentra aquellos indicadores sobre la efectividad del proceso de formación que, de acuerdo a nuestro análisis, adquieren gravitación central para explicar el resultado de acreditación.

Las dudas que en este punto emergen, y que exceden las posibilidades de interpretación de los hallazgos del presente estudio, están dadas por la discusión internacional sobre los impactos de la acreditación. Desde este punto de vista, existen pocas evidencias de que la acreditación institucional tenga efectos sobre el mejoramiento de la docencia, lo que parece plantear un contrasentido con el modelo chileno, fuertemente orientado a la evaluación de los procesos y resultados del proceso de enseñanza. Para resolver este aparente dilema, planteamos que la acreditación en lugar de centrarse en la experiencia de formación en si misma, considera la formalización de las acciones que están en su entorno, a saber: la planificación sus recursos humanos y organizacionales para hacer que los resultados docentes sean lo más satisfactorios posibles, lo cual permite, de alguna manera, avanzar en la dirección del aseguramiento de la calidad del sistema de educación superior chileno.

Para seguir en la línea de investigación que con este estudio hemos abierto, es necesario, en consecuencia, determinar los efectos concretos de la acreditación institucional en Chile, considerando el impacto de las diferentes áreas de evaluación y otros aspectos indirectos sobre las instituciones y el sistema de educación superior. Desarrollando este camino, tendremos más información sobre los focos que predominan en la teoría y práctica de la acreditación institucional en Chile.

Recebido em: 25 de setembro de 2009

Aprovado em: 22 de dezembro de 2009

• COMISIÓN NACIONAL DE ACREDITACIÓN DE PREGRADO - CNAP. Manual para el desarrollo de procesos de Autoevaluación. Santiago, Chile: CNAP 2001.
• DILL, David. Designing academic audit: lessons learned in Europe and Asia. Quality in Higher Education, UK, v. 6, n. 3, Nov. 2000.
• FERNÁNDEZ, Enrique; STOCK, Manfred. Los límites de la gestión. Consideraciones sociológicas sobre la gestión universitaria en Chile y Alemania. Universum, Talca, v. 2, n. 22, p. 108-12, 2007.
• HARVEY, Lee; NEWTON Jethro. Transforming quality evaluation. Quality in Higher Education, UK, v. 10, n. 2, Julio, 2004.
• HARVEY, Lee. Analytic Quality Glossar Quality Research International. Disponible en: <www.qualityresearchinternational.com/glossary/>. Acceso en: 2 Sep. 2007.
• LEMAITRE, Maria José. Aseguramiento de la calidad: impacto y proyecciones. In: SEMINARIO INTERNACIONAL CNAP-CSE, 9. 2005. Santiago, Chile. 2005.
• OECD. Tertiary Education for the Knowledge Society. OECD Thematic Review of Tertiary Education: Synthesis Report, 2008. v. 2.
• SACHS, Judyth. Strange yet Compatible Bedfellows: quality assurance and quality improvement. Australian Universities' Review, Australia, v. 37, n. 1, 1994.
• STENSAKER, Bjorn. External Quality auditing in sweden: are departments affected? Higher Education Quarterly, UK, v. 53, n. 4, 1999.
• VROEIJENSTIJN, A.Governments and university: opponents or allies in quality assurance? Higher Education Review, London, v. 27, n. 3, 1995.
• WOODHOUSE, David. Quality and quality assurance, quality and internationalisation in higher education. Paris: OECD, 1999.

Fechas de Publicación

• Publicación en esta colección
  09 Abr 2010
• Fecha del número
  2010

Histórico

• Recibido
  25 Set 2009
• Acepto
  22 Dic 2009