Introducción
En algunas asignaturas, en la práctica docente, se utilizan criterios de evaluación sumativa complejos para decidir si un alumno debe aprobar y, si ha suspendido, decidir qué debe recuperar. En estos casos es muy importante comunicar y justificar la decisión al alumno. En escenarios donde el número de estudiantes es elevado, como por ejemplo en los MOOCs, tales prácticas, manualmente, son imposibles.
Para ello se ha investigado la creación de una o más ontologías que puedan modelar los criterios de calificación y, dentro de la misma ontología o de alguna otra forma, ofrecer una explicación y recomendación a los alumnos.
Mientras la mayoría de los artículos Romero et al. (2015), Panulla and Kohler (2010), Sitthisak and Gilbert (2010), Gutierrez et al. (2012) tratan conjuntamente las tareas y la evaluación y/o calificación, el presente trabajo trata cada una de ellas separadamente para conseguir mayor flexibilidad.
Los objetivos son:
Crear una ontología que permita modelar los criterios (la mayoría) de evaluación de los profesores.
Ofrecer a los estudiantes una explicación de su calificación y, en caso de no ser positiva, comunicar qué deben hacer como recuperación.
Analizar las limitaciones del sistema.
Sugerir su utilidad en sistemas adaptativos.
El formato estándar seguido para la creación de la ontología es OWL 2.0. OWl hace uso de RDF, RDFS, XML Schema y el OWL namespace (http://www.w3.org/2002/07/owl que suele usarse con el prefijo “owl”). La aplicación de código abierto más usada y conocida es protégé.
Las ontologías en IntelLEO
Una ontología integrada en otras va a tener mucha más utilidad practica y una mayor coherencia con la filosofia de la web semántica. Así, la ontología creada, Qualifications Ontology, se integra en la red de ontologías IntelLEO aprovechando algunos de sus elementos. A su vez IntelLEO hace uso de Semantically Interlinked Online Communities (con prefijo sioc), Friend Of A Friend (foaf), Dublin Core (dc), CommonTag (ctag) y LOCO framework (alocom-core).
El proyecto Intelligent Learning Extended Organisations (IntelLEO) sirve para modelar la adquisición de competencias en las organizaciones. En Siadaty et al. (2011) se destaca que es una herramienta para mejorar el aprendizaje autoregulado (Self-regulated learning SRL). Las fuentes de evidencia de este tipo de aprendizaje son tan variadas que han propuesto una red de ontologías para afrontarlo:
- Learning Context Ontology
modela el contexto de aprendizaje.
- Activities Ontology
que modela las principales actividades (Figura 1). Se puede especificar un inicio y fin temporal de cada actividad. Las acciones puntuales pertenecen a la clase evento (Event).
- User Model Ontology
dedica gran atención a modelar los objetivos de aprendizaje (learning goals) y las actividades colaborativas. Entre varios aspectos, especifica el progreso actual y la fecha límite de finalización de cada objetivo.
- Competences Ontology
permite diferenciar si las competencias están definidas por la organización o por usuarios. Las competencias se definen por medio de la temática (domain-specific topic), la habilidad (skill) y el nivel de rendimiento (performance level). La ontología sirve para recopilar las evidencias de la adquisición de cada competencia.
- Competence Management Ontology
está centrada en la adquisición, petición, recomendación y mapeo de nuevas competencias.
- Workflow Ontology
sirve para modelar los flujos de trabajo tanto si están relacionados con el aprendizaje como con el trabajo. Aquí se define tarea (task) como una o más actividades secuenciadas y/o paralelas junto con sus prerrequisitos. La tarea de aprendizaje (learning task) es una de sus subclases. Otras clases de interés son esfuerzo total (TotalTaskEffort) y esfuerzo por usuario (UserPerTaskEffort), estado (ProgressStatus), notificación y feedback.
- Organization Ontology
donde se define las unidades organizativas y los puestos de trabajo dentro de cada unidad; la asignación de funciones y competencias requeridas para cada puesto de trabajo así como sus funciones; la configuración de permisos para acceder y editar registros de competencia, las metas de la organización, actividades de aprendizaje, etc..
- Annotations Ontology
Las anotaciones describen los recursos, entendidos en sentido amplio. Les clases hijas son, entre otras, favorito (Bookmark), nota de usuario (UserNote), etiqueta (tag) o puntuación de usuario (UserRating).
La ontología “calificaciones” (Qualifications Ontology)
La ontología propuesta usa un vocabulario simple ya que son los más populares en la web semántica Heath et al. (2008). Se pretende estudiar el modelado de la evaluación sumativa final de una asignatura. Aunque las ontologías intelLEO no están pensadas exactamente para esto, son muy útiles porque tienen en cuenta aspectos del aprendizaje y de su gestión.
El concepto central es Mark, la puntuación dada al alumno por el profesor, sus compañeros o sí mismo. Para cada tarea se pueden definir uno o más Evaluable que representan aspectos que se considerán a la hora de puntuarla o para dar feedback. Pueden coincidir con los objetivos, aunque la idea aquí es instanciar elementos como “penalización 20% por tres días de retraso en la entrega”, o “+1 punto por haber realizado correctamente la actividad extra”, etc. Cada Evaluable puede tener asociadas explicaciones (Mark explanation) para el rendimiento obtenido que dependen del resultado. Diversas puntuaciones se pueden agregar para generar una nota más general (Aggregate mark).
A partir de todas las notas del alumno, en formato csv por ejemplo, un programa se encargaría de aplicar esta ontología para obtener la nota final y un texto que justifique y explique el resultado obtenido así como realice sugerencias sobre que se puede mejorar y que se ha hecho especialmente bien. En caso de no aprobar, la sugerencia incluiría que debe ser recuperado. Los evaluables deberían exponerse antes de las actividades para que el alumno entienda cómo se va a medir su desempeño y, durante el curso, siguiendo la filosofía de Open Leaner Models Bull and Kay (2010), se debería informar de los resultados parciales. Al final del curso, las explicaciones incluirían, al menos resumidamente, esta información. Con esto, el alumno dispondría de algo más que simplemente un resultado agregado Lazarinis and Retalis (2007)
Relación con IntelLEO
Hace uso de los siguientes elementos de IntelLEO:
Scale De Annotation Ontology. Las escalas están pensadas para que los usuarios puntúen los recursos. Puede ser de dos tipos: ordinal o numérica. En Qualifications Ontology, Scale se ha ampliado en dos sentidos:
- Por un lado, su uso. La escala se entiende como las escalas usadas por el profesor para puntuar las tareas de los alumnos. También puede servir para la autoevaluación y la coevaluación.
- Dado que NumericScale es discreta, se ha añadido una nueva subclase Continuous Scale, para poder usar valores reales (ℜ).
ProgressStatus. Tiene las instancias Active, Cancelled, Delayed, Finished y Planned. Se ha añadido Remediation para las tareas que están siendo recuperadas.
ScaleItem. Puede tener la propiedad booleana passed para indicar si con esta nota se considera aprobado o suspendido.
Metodología
Para la creación inicial de la qualifications ontology se ha seguido methontology Gomez Pérez, Fernandez López, and Corcho (2008) Gomez-Perez, Fernández-López, and Corcho (2004). Las actividades están agrupadas en tres categorías: gestión, desarrollo y apoyo.
Gestión
Planificación y control
Los pasos que planificaron fueron.
- Busqueda de ontologías para la cualificación y evaluación.
- Las ontologías encontradas serían estudiadas con la intención usarlas o mejorarla para que cumplan con los objetivos.
- En caso que la búsqueda anterior no de resultados, buscar ontologías o otra estructura en la que incorporar la ontología a desarrollar.
- Desarrollo o mejora de la ontología propiamente
- Aplicación a un caso concreto de la ontología desarrollada
- Desarrollo de una aplicación o sotfware de integración para su uso en producción
- Evaluación de los resultados
Las cuatro últimas fases se han realizado de forma cíclica, es decir, se ha ido repitiendo varias veces hasta tener un resultado satisfactorio.
No se ha establecido ningún periodo de tiempo para la elaboración de la ontología debido a la inexperiencia previa del autor en este tema.
Calidad
La ontología ha sido comprobada (8 de septiembre de 2016) OntOlogy Pitfall Scanner! y está libre de fallos críticos.
Desarrollo
Estudio del entorno
El problema a resolver es automatizar la calificación, especialmente en grupos masivos, sin limitar o simplificar en exceso los criterios utilizados.
Estudio de viabilidad
Para criterios de evaluación complejos y, sobretodo, en dominios en los que no se puede asegurar su completitud, donde conviene adoptar el principio de Open World Assumption Hebeler, Fisher, and Blace (2009), utilizar una ontología es la mejor opción tecnológica.
La creación de esta ontología supone dos retos: ser la primera ontología no simple creada por el autor, a la vez que ser una forma de explorar las posibilidades formales de las ontologías.
Especificación
Qualifications Ontology se crea para facilitar el trabajo de los encargados de calificar un curso académico, en la mayoría de casos, profesores. Esta ontología debe integrarse en algún entorno de aprendizaje para ser usada.
De forma parecida a la creación de cursos en IMS-LD Barrera et al. (2005), probablemente a los profesores no familiarizados con esta tecnología les sería muy difícil especificar sus criterios y necesitarían ayuda de expertos. Una solución podría ser ofrecer diversas plantillas con los esquemas de calificación ya instanciados o bien crear una herramienta software intuitiva.
Conceptualización
El las primeras iteraciones, se han seguido los pasos de la conceptualización de methontology pero no en el resto. Esto es debido a que el dominio es relativamente pequeño y la creación de la documentación asociada suponía, en la mayoría de los casos, más un contratiempo que no una ayuda a la comprensión de los elementos involucrados aunque para una ontología mayor y/o elaborada colaborativamente, deberían seguirse.
Así la conceptualización se ha llevado a cabo conjuntamente con la formalización. Protégé ofrece varios elementos de ayuda como la pestaña “usage” que permite ver el uso del elemento (Figura 1) o plugins para la visualización gráfica en forma de grafo como OWLViz (figura 1) y OntoGraf
La formalización se ha realizado en protégé, versión 5, permitiendo elegir entre una gran variedad de serializaciones y por tanto ofreciendo muchas posibilidades para ser usada en diversos entornos. Por ejemplo, con Apache Jena en julio de 2016, todavía no se puede utilizar owl 2.0 pero sí owl 1.1.
Uso y Mantenimiento
La ontología creada se puede integrar en cualquier aplicación mediante Apache Jena, por ejemplo o utilizando protégé como librería.
La ontología debe verse como algo dinámico y recoger nuevas formas de cualificación que puedan salir así como sugerencias de los usuarios. También ha de considerarse la posibilidad de hacer otra versión modificada para otra red de ontologías o para algún entorno de aprendizaje concreto.
Apoyo
Aquisición de conocimientos
El autor de la ontología es profesor de secundaria (matemáticas, informática y ciencias naturales) con 18 años de experiencia y ha recogido, informalmente, los diferentes aspectos que se utilizan para calificar a los alumnos. Por supuesto, este aspecto debería realizarse con más amplitud y diversidad cuando se disponga de más recursos.
Evaluación
La ontología Qualifications es de granularidad alta. Las tecnologías utilizadas son las más actuales y estándar.
Integración
La ontología sigue los principios de IntelLEO. Queda por determinar su integración en entornos de aprendizaje, en otros paquetes de software y su aplicación en entornos reales.
Documentación
La documentación se puede automáticamente de tres formas: OWLDoc, parrot y LODE.
Se puede consultar la documentación online (con LODE)
Gestión de la configuración
Esta es la primera versión de la ontología y de su documentación. La licencia de distribución elegida es la MIT por ser una de las más compatibles en la actualidad.
Puntos abiertos
Queda pendiente la creación de algún tipo de software para su utilización como herramienta independiente o como plugin para entornos de aprendizaje como por ejemplo Moodle, GRAPPLE o Learning Pal Siadaty et al. (2011).
Como ya se ha mencionado en la especificación, se debería ofrecer plantillas para los escenarios de cualificación más comunes (junto con las frases feedback más recomendables). Un software muy usuable también sería muy conveniente.
Tipo de calculo (Calc type) es una etiqueta no funcional, es decir, puede ser weighted o average o qualquier otra cosa ya que no tiene un efecto en la fórmula real del cálculo. Sería deseable encontrar la manera de modelar y implementarlo en owl.
El feedback ofrece demasiada libertad de elección. La granularidad escogida permite un uso muy amplio del feedback y probablemente podría usarse de forma muy diferente al pretendido.
Aplicaciones a la adaptabilidad en la educación
Con esta ontología se puede personalizar y adaptar tanto el cálculo de la nota final como el feedback dado que el acoplamiento con el estudiante, igual que en IntelLEO es mínimo. No se presupone que a todos los alumnos se deba usar los mismos criterios ni el mismo feedback. Los evaluables pueden ser generados dinámicamente incluso durante la realización por parte del alumno de la actividad a evaluar.
El feeedback y el cálculo de la nota de final de curso puede condicionarse a cualquier modelo de usuario ya que no está prefijado. Una forma inmediata de entender los evaluables es como la representación del domino (modelo overlay) y el resultado obtenido por el alumno, el grado de ajuste con tal “concepto” pero también pueden ser aspectos derivados que van a ser comunicados al alumno como criterios de evaluación.
Conclusiones
Se ha creado una ontología para la calificación sumativa que se integra en la red IntelLEO, pensada para ser usada en otros contextos
Queda trabajo por hacer: creación de software para su uso, integración en otras redes de ontologías, realización de ontologías derivadas más concretas, etc.
A nivel particular, se ha aprendido la filosofía de IntelLEO, methontology y open leaner models así como la creación de ontologías.
Bibliografía
Barrera, Carmen, Jesús G. Boticario, Elena Gaudioso, Olga C. Santos, Antonio Rodríguez, Ingeborg Hoke, Joerg Boy, et al. 2005. “D66 – Evaluation Results.” KLETT, EDP, OUNL, UNED; SAGE; ACE CASE.
Bull, Susan, and Judy Kay. 2010. “Open Learner Models.” In Advances in Intelligent Tutoring Systems, edited by Roger Nkambou, Jacqueline Bourdeau, and Riichiro Mizoguchi, 301–22. Berlin, Heidelberg: Springer Berlin Heidelberg. doi:10.1007/978-3-642-14363-2_15.
Gomez Pérez, Asunción, Mariano Fernandez López, and Oscar Corcho. 2008. “Ontologías.” In Inteligencia Artificial. Técnicas, Métodos Y Aplicaciones, edited by J.T.P. Méndez and R.L.M. Morales, 171–205. McGraw-Hill Interamericana de España S.L.
Gomez-Perez, Asuncion, Mariano Fernández-López, and Oscar Corcho. 2004. “Methodologies and Methods for Building Ontologies.” In Ontological Engineering: With Examples from the Areas of Knowledge Management, E-Commerce and the Semantic Web, 107–97. Springer Science & Business Media.
Gutierrez, Fernando, Dejing Dou, Stephen Fickas, and Gina Griffiths. 2012. “Providing Grades and Feedback for Student Summaries by Ontology-Based Information Extraction.” Proceedings of the 21st ACM International Conference on Information and Knowledge Management - CIKM ’12, 1722–6. doi:10.1145/2396761.2398505.
Heath, Tom, Michael Hausenblas, Christian Bizer, Richard Cyganiak, and Olaf Hartig. 2008. “How to Publish Linked Data on the Web.” VideoLectures.NET - VideoLectures.NET. http://videolectures.net/iswc08_heath_hpldw/.
Lazarinis, Fotis, and Symeon Retalis. 2007. “Analyze Me: Open Learner Model in an Adaptive Web Testing System.”
Panulla, Brian, and Megan Kohler. 2010. “An Ontology for Open Rubric Exchange on the Web.” Open ED 2010 Proceedings, no. 2010. http://hdl.handle.net/10609/5222.
Romero, Lucila, Matthew North, Milagros Gutiérrez, and Laura Caliusco. 2015. “Pedagogically-Driven Ontology Network for Conceptualizing the E-Learning Assessment Domain.” Educational Technology & Society 18 (4): 312–30.
Siadaty, Melody, Jelena Jovanovic, Kai Pata, Teresa Holocher-Ertl, Dragan Gasevic, and Nikola Milikic. 2011. “A Semantic Web-Enabled Tool for Self-Regulated Learning in the Workplace.” In Advanced Learning Technologies (ICALT), 2011 11th IEEE International Conference on, 66–70. IEEE.
Sitthisak, Onjira, and Lester Gilbert. 2010. “An Evaluation of Generated Question Sequences Based on Competency Modelling.” In Proceedings of the 18th International Conference on Computers in Education., 220–27.
