La evaluación en la Universidad con la suspensión de actividades presenciales (I): El caso de Singapur.

En esta serie de post trataré cómo han reaccionado universidades y sistemas universitarios ante la transición hacia formas de docencia impuestas por el COVID19.

Empezaré por Singapur.

Recordemos que el sistema universitario en conjunto de este país goza de una innegable reputación en los rankings de calidad de enseñanza universitaria. Situación que hemoscomentado en distintas ocasiones.

De esta forma es como aparecen sus universidades en los tres rankings más conocidos:

En QS World University del año 202, Singapur tiene la totalidad de sus universidades públicas, es decir la NTU y la NUS, entre las doce primeras del mundo. Exactamente en los puestos 11 y 12. Record que es inigualado por cualquier otro país.

En Academic Ranking of World Universities 2019 (ARWU), el popular ranking de Sanghai, Singapur tiene igualmente todas sus universidades públicas, es decir dos, la NTU y la NUS, enter las 75 primeras, en los puestos 67 la NUS y 73 la NTU.

Y, por último, en THE, las dos universidades públicas están entre las 50 primeras. Exactamente en el puesto 25 mundial la NUS y en el 48 la NTU.

Este hecho no es nuevo:

Evolución de NTU en QS:

Y de NUS:

Las dos universidades públicas de Singapur son las dos primeras universidades asiáticas en el ranking.

Incluso, en otras ocasiones, hemos hablado de su rendimiento vinculándolo con una modalidad de metodología docente y evaluadora conocid como “aprendizaje por dominio” o de “dominio en el aprendizaje” (Mastery learning). Hemos hablado de sus rendimiento y de su posición  como resultado de esta metodología  ejercida directamente o como inercia de esta misma por ser la que utilizan  alumnos y profesores en niveles anteriores a launiversidad.

También hemos hablado de experiencias de formas de trabajo apoyadas en redes sociales como sustitutivas de los LMS.

En particular, en el artículo El modelo educativo de Singapur y el «mastery learning» de Bloom hablamos de la docencia universitaria, del modelo educativo basado en Mastery learning de Bloom para los niveles anteriores de la universidad y a lo que después haremos referencia

Para escribir este post y la glosa de la situación he tenido en cuenta como elemento básico la información que solicité de una colega profesora de Nanyang, así es como nombraremos la Nanyang Technological University (NTU), y que muy gentilmente me ha facilitado.

El mensaje original:

Querido Miguel, (…) Mi universidad ha estado "cerrada" desde el 6 de abril, donde quedan 2 semanas más hasta el final del semestre. Los profesores llevarán a cabo la enseñanza en línea durante el resto del semestre. Estas son las pautas universitarias para los asuntos académicos: Asuntos académicos 1.  Todos los exámenes, pruebas y exámenes de pregrado en el campus que deben realizarse en persona y programados del 6 de abril al 8 de mayo de 2020 se cancelan. No se realizarán alternativas de reemplazo para las cancelaciones. 2.  Todas las otras formas de evaluaciones que se planificaron antes y que no requieren que los estudiantes estén físicamente presentes en el campus, como proyectos, informes, ensayos, presentaciones y tareas continuarán y solo se pueden enviar a través de una plataforma en línea, por ejemplo, NTULearn. Los coordinadores del curso informarán a los estudiantes sobre cualquier cambio en los plazos para sus respectivos cursos. 3.  Para los cursos donde se cancelan las evaluaciones continuas en persona (CA) y los exámenes, las calificaciones del curso se calcularán en función de los puntajes de CA existentes de cada estudiante hasta la fecha. 4.  Los estudiantes aún pueden ejercer su opción S / U, para todos los cursos de pregrado con la excepción del Proyecto de Año Final. La fecha límite permanece sin cambios: 12 de mayo de 2020, 10 p.m. 5.  Los estudiantes de posgrado tendrán sus exámenes, pruebas y exámenes en persona convertidos en evaluaciones que no requieren que estén físicamente en el campus. Los coordinadores de sus cursos les proporcionarán más información por separado. 6.  Con efecto a partir del lunes 6 de abril de 2020, todas las clases de NTU en el campus, los laboratorios y el trabajo práctico cesarán, y todas las bibliotecas, áreas de estudio y aulas / instalaciones académicas de NTU permanecerán cerradas hasta nuevo aviso. 7.  Todos los estudiantes, profesores y personal no deben venir al campus, y se les aconseja aprovechar la tecnología para reemplazar las reuniones, entrevistas y discusiones en persona, a fin de minimizar la interacción física. Los estudiantes, el profesorado y sus familias que viven en el campus deben permanecer en sus respectivas residencias durante este período y observar medidas seguras de distanciamiento físico. (…) Atentamente,

La situación en Singapur no es distinta para profesores y alumnos: Como en otras partes del mundo, en esta época los profesores están entregados a “un período agitado” de trabajo desde casa

Mi colega me comunica que, en el tiempo que dure el confinamiento, las medidas expuestas en el mensaje  son las que establecen las pautas para el resto del semestre. En el momento de enviarme el mail, dice que la universidad ha estado "cerrada" desde el 6 de abril. En ese momento quedaban dos semanas lectivas más hasta el final del semestre. En ese tiempo los profesores llevan a cabo la enseñanza en la modalidad de en línea por lo que queda del semestre.

A continuación destacamos y comentamos lo que dicen las pautas para asuntos docentes y académicos, con especial mención de lo que tiene que ver con la evaluación:

1

Como primera medida, se suspenden todas las actividades presenciales en el campus, incluidas las que supongan exámenes, presentación de informes, proyectos u otras formas de evaluación. Y muy importante: No se realizarán alternativas de reemplazo para lo que se cancela, ni ahora ni después.

Con ello la intención parece clara, se pretende que la marcha del progreso académico general no se perjudique en su desarrollo temporal. Que no se produzca un vacío, un lapsus, en el sistema educativo. Esto pone de manifiesto la preocupación de las instituciones, el sistema y de la sociedad por que la pandemia no afecte más que lo inevitable el futuro del país, la progresión científica, técnica, profesional y, entendemos que también, para los proyectos de vida de aquellos estudiantes que puedan progresar de alguna forma aún en estas condiciones adversas.

2.

Para lo demás, para lo que no sea presencial, como realizaciones de tares y otras formas de evaluación que no sean presenciales, se continuará como estaba previsto. 

En el sistema de la Nanyang University esas formas de evaluación suponen entre un 40% y un 100%, en la otra gran universidad, la National University (NUS), suponen ente un 60% y un 100%, por ejemplo, eso sucede en la Facultad de Computación, en pregrado. 

Se dice literalmente que todas las demás formas de evaluación que se planificaron antes y que no requieren que los estudiantes estén físicamente presentes en el campus, como son proyectos, informes, ensayos, presentaciones y tareas, continuarán tal como estaban planificadas. Pero sólo se pueden enviar a través de una plataforma en línea: la NTULearn, que es la oficial. No obstante, se admite que en función de la contingencia se modifiquen eventualmente los plazos. En conjunto, las actividades, plazos, evaluación,… estarán centralizadas por los coordinadores de asignatura que informarán a los estudiantes sobre cualquier cambio en los plazos.

De todo ello se deduce una cuestión que es clave para la evaluación en estas condiciones: la confianza institucional, y asumida por todos, en los sistemas y modalidades de evaluación que no sean estrictamente los exámenes o incluso que no sean otras actividades presenciales. 

Alguien podría argumentar que ello se debe a cuestiones culturales como son el sentido de la reputación y del honor en las culturas orientales. Pero esto no es el tema. Sin entrar, además, en aspectos culturales y en consideraciones éticas sobre el plagio o la impostura que existe  en esos países porque, en todo caso, eso sería relativo a exámenes y a la filosofía que hay detrás de centrar el proceso en su superación. Señalamos que no es el tema porque esa confianza se deriva, como consecuencia directa, de la naturaleza íntima, esencial, de la metodología que utilizan, y que podremos comprobar si analizamos en profundidad qué hacen y con qué criterios y fundamentación  trabajan a lo largo del curso, y los hábitos adquiridos a lo largo de las etapas anteriores, desde la infancia.

La maestría del aprendizaje supone técnicas que, mediante el análisis de la tarea, y de cómo se alcanzan los logros en todas las fases de su ejecutoria, así como mediante la observación, el análisis del resultado y las entrevistas, permiten determinar la implicación, el compromiso, la autonomía y la capacidad de transferencia de lo aprendido a entornos distintos y cambiantes. Permiten, en definitiva, evaluar si se alcanzado el dominio.

Esta forma de trabajar los alumnos procede de las etapas anteriores.

3.

Veamos las opciones de las asignaturas [2] que se evalúan mediante evaluación continua personal. Primero veamos qué entiende la NTU por evaluaciones continuas en persona (CA), después veremos qué normas establecen ahora con motivo del COVID19, y por último haremos una valoración de ello.

¿Qué son las evaluaciones continuas en persona (CA)?

Desde las páginas públicas dedicadas a la orientación de los profesores, la Universidad Tecnológica de Nanyang ofrece claras referencias de calidad, o de autoridad pedagógica, a las teorías del aprendizaje más estudiadas en el campo de la adquisición en entornos tecnológicos y en escenariso de cualquier tipo. Orientaciones que incluye como alineamientos propios. De esta forma dice que “la alineación constructiva [de la NTU] sugiere que la selección de actividades de evaluación, su diseño, debe guiarse a partir de lo que esté contemplado, en la programación académica y en el diseño instruccional,  que sean los resultados del aprendizaje previstos.  Ellos citan a Biggs y otros clásicos, nosotros podríamos citar el "cómo lo hago en los cursos que organizamos", procedimiento que está visible en el documento de Google Driva que he puesto en abierto, y que utilizo en mis programas de formación para docencia online. En todo caso, ésta es una idea central del diseño instruccional: un análisis descendente que, a partir del final, de los resultados deseados y esperables, obtiene criterios para diseñar todo lo demás, incluida la evaluación. Esta idea pueden percibirla en todos mis escritos sobrediseño instruccional, vaya o no dedicado a la docencia universitaria online.

Así, la documentación citada de NTU, pone un ejemplo particularmente claro: Si espera que los estudiantes puedan diseñar al final de su curso, incorporen como habilidad la del diseño [resultado de aprendizaje], entonces la evaluación debe requerir que los estudiantes presenten un diseño para que se pueda juzgar su capacidad de diseño. 

Esta idea de vincular la evaluación con el resultado de aprendizaje mediante una evidencia, está directa e intimamente relacinado con el principio de demostración, que hemos desarrollado en otras partes, como aplicación de los firts priciples of learning de Merrill [1], y muy recientemente en esta serie de posts.

El paso siguiente es la evaluación formativa. Popularmente y en los documentos se habla de evaluación continua o continuada. Pues bien la evaluación formativa no es exactamente evaluación continua, no la menos sólo eso. Para que lo entendamos, la evaluación formativa es evaluación continua + feedback. En ese sentido la NTU reclama que también debería haber actividades de evaluación continua que ofrezcan a los estudiantes comentarios formativos sobre su progreso y/o para ayudarlos a autoevaluar el desarrollo y la calidad del diseño. 

Para alentar y fomentar este principio, el uso de la evaluación para el aprendizaje y del aprendizaje, la NTU tiene una establecido como norma que la evaluación continua sea al menos el 40% de la puntuación total.

En ese sentido establece que además de la tradicional evaluación sumativa, con la intención de certificar el aprendizaje, e incluso en ésta, el profesor es quien decide, más allá de los exámenes de los que no habla como práctica de evaluación sumativa, pero no los excluye, sobre las evaluaciones que le permitirían juzgar la calidad del trabajo de los estudiantes en función de un conjunto de criterios y / o estándares profesionales relacionados con los resultados de aprendizaje de su curso. Habla pues de la calidad del trabajo de los estudiantes en relación con los resultados de aprendizaje establecidos para la asignatura.

No obstante, señala claramente que la evaluación para el aprendizaje (comúnmente conocida como evaluación formativa) se centra en la retroalimentación tanto para profesores como para estudiantes. 

En este sentido también son llamativas las declaraciones en relación con lo que estamos acostumbrados por estos pagos, pero que es la más pura ortodoxia constructivista: La evaluación determina el grado de consecución de resultados de aprendizaje en relación con lo esperado, pero sobre todo, el profesor, puede usar las evaluaciones como actividades de aprendizaje propiamente dichas, para determinar las fortalezas de los estudiantes e identificar áreas de mejora. 

La evaluación no tiene pues un fin sancionador del grado de aprendizaje, de promoción y en su caso acreditación: El resultado de la evaluación se puede utilizar para refinar su enseñanza y dar a los estudiantes comentarios sobre cómo pueden mejorar. Y en este contexto, el de la contingencia de la pandemia y sus efectos: el corte abrupto de la docencia presencial y el paso a la docencia online, ha sido algo imprevisto, pero en ningún caso ha supuesto un colapso en el curso o en su fase más decisiva, la de la evaluación. Les ha pillado preparados, han sabido evaluar incluso de forma sumativa, para la promoción y para la acreditación, exclusivamente con el material de que disponían y la información sobre cada alumno.

En un futuro seguiremos hablando de la evaluación continua como evaluación formativa en NTU.

Pero este concepto no es exclusivo de esta universidad, la otra gran universidad pública de Singapur también lo posee, es pues algo consustancial del sistema universitario de este país. Así en la NUS cuando habla de la evaluación continua y de su peso en las normas para el profesorado de la Facultad de Informática dice

“Se tendrá en cuenta que la evaluación continua (CA contribuye entre el 40% y el 100% de la calificación final de un módulo a menos que el departamento indique lo contrario. La constituyen: Tareas, cuestionarios, exámenes, prácticas, ensayos, proyectos, presentaciones en seminarios, desempeño durante tutoriales, viajes de campo y otros trabajos de proyectos son bases para la evaluación continua.”

En este contexto, es perfectamente aplicable la medida adoptada para este tipo de enseñanza: para las asignaturas que se evalúan con evaluación continua en persona, es decir todas, pues en todas se exige que al menos un 40% y en muchos casos es un 100%. La medida es que la evaluación y la acreditación de la asignatura se haga exclusivamente con la información que tienen los profesores. Y que además eso suponga un trastorno mínimo para el aprendizaje y para el progreso en año académico siguiente.

De manera que, según la información ofrecida por mi colega, esto es lo que se dispone:

para los cursos donde se cancelan las evaluaciones continuas en persona (CA) y los exámenes, las calificaciones del curso se calcularán en función de los puntajes de CA existentes de cada estudiante hasta la fecha.

El resto de directrices son importantes pero no son tan significativas de su modelo de evaluación y de la forma de reaccionar a la contingencia que también de forma tan decisiva ha afectado a la educación superior en la vertiente de la docencia y de la evaluación. Las adjuntamos como anexo [3]

Continuaremos completado este post de urgencia, perdonen las posibles incorrecciones de estilo y erratas. 

Continuaremos en lo posible, en entradas sucesivas, analizando el caso de España y las orientaciones que están impartiendo ANECA, la CRUE y el Ministerio de Universidades. No obstante intentaremos que esto no perturbe la reelaboraación que estoy hacienco del material depositado en Google Drive y en la web de urgencia del Ministerio - CRUE .UNED - UOC: ENSEÑAR Y APRENDER EN LINEA. Orientaciones para diseñar, dotar de contenidos, actividades y evaluación a la asignatura,  y acompañar a los estudiantes en su proceso de aprendizaje. Guía rápida para preparar tu curso en línea paso a paso. Selección de Recursos. Propuesta para el diseño y la creación de un curso

-------
[1]

En su trabajo First principles of instruction. Educational technology research and development, Merrill (2002) desarrolla esta idea (first priciples), lo hace decantando los principios subyacentes en los que hay consensos, en los que hay un acuerdo esencial, en todas las teorías y que previamente ha identificado.

En un trabajo anterior (Zapata-Ros, Diciembre 2018) citando al trabajo First principles of instruction decíamos

“Este documento se refiere a [unos métodos considerados] métodos variables, como programas y prácticas. Un principio fundamental (Merrill, 2002), o un método básico según Reigeluth (1999), es un aserto que siempre es verdadero bajo las condiciones apropiadas independientemente del programa o de la práctica en que se aplique, que de esta forma dan lugar a un método variable. Teniendo en cuenta como el mismo Merrill (2002) las define:

Una práctica es una actividad instruccional específica. Un programa es un enfoque que consiste en un conjunto de prácticas prescritas. Las prácticas siempre implementan o no implementan los principios subyacentes ya sea que estos principios se especifiquen o no. Un enfoque de instrucción dado solo puede enfatizar la implementación de uno o más de estos principios de instrucción. Los mismos principios pueden ser implementados por una amplia variedad de programas y prácticas.

De esta forma Merrill propuso un conjunto de cinco principios instruccionales prescriptivos (o “principios fundamentales”) que mejoran la calidad de la enseñanza en todas las situaciones (Merrill, 2007 , 2009 ). Esos principios tienen que ver con la centralidad de la tarea, la activación, la demostración, la aplicación y la integración.

Para ello Merrill (2002) propone un esquema en fases como el más eficiente para el aprendizaje, de manera que centran el problema y crean un entorno que implica al alumno  para la resolución de cualquier problema En cuatro fases distintas, cuando habitualmente solo se hace en una: la de demostración, reduciendo todo el problema a que el alumno pueda demostrar su conocimiento o su habilidad en la resolución del problema en una última fase. 

Son las FASES DE INSTRUCCIÓN

Fig. 1

Las fases son (a) activación de experiencia previa, (b) demostración de habilidades, (c) aplicación de habilidades, y (d) integración de estas habilidades en actividades del mundo real.

Así la figura anterior proporciona un marco conceptual para establecer y relacionar los principios fundamentales de la instrucción. De ellos uno tiene que ver con la implicación y la naturaleza real del problema, así percibida por el alumno, y los cuatro restantes para cada una de las fases. Así estos cinco principios enunciados en su forma más concisa (Merrill 2002) son

1. El aprendizaje se promueve cuando los estudiantes se comprometen a resolver problemas del mundo real. Es decir, el aprendizaje se promueve cuando es un aprendizaje centrado en la tarea.
2. El aprendizaje se favorece cuando existen conocimientos que se activan como base para el nuevo conocimiento.
3. El aprendizaje se promueve cuando se centra en que el alumno debe demostrar su nuevo conocimiento. Y el alumno es consciente de ello.
4. El aprendizaje se promueve igualmente cuando se centra en que el aprendiz aplique el nuevo conocimiento. Y por último
5. El aprendizaje se favorece cuando el nuevo conocimiento se tienede a que se integre en el mundo del alumno.

[2] La expresión asignatura se utiliza prácticamente sólo en España. Se dice curso para referirse a esa unidad estándar en la forma de escribir en la literatura generalizada. Utilizaremos indistintamente una u otra expresión. Cuando nos refiramos a otras cosas que en España se denominan cursos, como cursos de formación, cursos propios, etc utilizaremos una expresión distinta para no confundir, como programa corto de formación, programa informal, etc.


[3] 
Las normas siguientes 4, 5, 6 y 7, comentadas son las que siguen:

4.

Similar a como sucede en España, y en el resto de países de la UE donde se ha producido la convergencia de Bolonia, con los créditos de libre elección, en Singapur también existe una opción. Sólo que aquí no condiciona la nota media  (el GPA). Así en Singapur los estudiantes pueden ejercer la opción Satisfactorio / Insatisfactorio (S / U), que tiene como objetivo alentar a los estudiantes a centrarse en explorar cursos más allá de sus estudios disciplinarios básicos sin preocupación  de que su GPA se vea afectado negativamente. 

La cuarta medida establece que Los estudiantes aún pueden ejercer su opción S / U, para todos los cursos de pregrado con la excepción del Proyecto de Año Final. La fecha límite permanece sin cambios: 12 de mayo de 2020, 10 p.m.

5.

Los estudiantes de posgrado tendrán sus exámenes, pruebas y exámenes en persona convertidos en evaluaciones que no requieren que estén físicamente en el campus. Los coordinadores de sus cursos les proporcionarán más información por separado. esto no cambia sustancialmente con la emergencia, tampoca en el resto de universidades anglosajonas. Las pruebas presenciales, generalmente entrevistas o defensa del TFM o de la tesis doctoral pasa a realizarse a través de videoconferencias o plataformas de reuniones virtuales con apoyo de presentaciones integradas y otras affordances.

6.

Las actividades que no afecten directamente a la evaluación y que supongan la presencia física en el campus se suspenden: "Con efecto a partir del lunes 6 de abril de 2020, todas las clases, laboratorios y prácticas de NTU en el campus cesarán, y todas las bibliotecas, áreas de estudio y salones / instalaciones académicas de NTU permanecerán cerradas hasta nuevo aviso."

7.

Y por último hacen una recomendación para compensar matemáticamente las cosas que habitualmente se hacen en persona en el campus: "Todos los estudiantes, profesores y personal no deben venir al campus, y se les aconseja aprovechar la tecnología para reemplazar las reuniones, entrevistas y discusiones en persona, a fin de minimizar la interacción física. Los estudiantes, el profesorado y sus familias que viven en el campus deben permanecer en sus respectivas residencias durante este período y observar medidas seguras de distanciamiento físico."

Las medidas 4, 5, 6 y 7 no son determinantes para impedir el progreso de la marcha docente e investigadora, ni afectan a los estudios de grado de manera sustencial.

 Referencias.-

Merrill, M. D. (2002). First principles of instruction. Educational technology research and development, 50(3), 43-59. https://link.springer.com/article/10.1007/BF02505024 y https://mdavidmerrill.com/Papers/firstprinciplesbymerrill.pdf

Merrill, M. D. (2007). First principles of instruction: A synthesis. In R. A. Reiser & J. V. Dempsey (Eds.), Trends and issues in instructional design and technology (2nd ed., pp. 62-71). Upper Saddle River, NJ: Merrill/Prentice-Hall.

Merrill, M. D. (2009). First principles of instruction. In C. M. Reigeluth & A. A. Carr-Chellman (Eds.), Instructional-design theories and models: Building a common knowledge base (Vol. III, pp. 41-56). New York: Routledge.

Zapata-Ros, M. (2018) Pensamiento computacional desenchufado / Computational thinking unplugged. Blog RED de Hypotheses. El aprendizaje en la Sociedad del Conocimiento. https://red.hypotheses.org/1508