Desarrollo y evaluación de técnicas RAG aplicadas al análisis de conductas docentes

Abstract

El Trabajo Fin de Máster se centra en el diseño y evaluación de modelos de lenguaje aplicados al análisis de conductas docentes a través de sistemas de recuperación y generación de respuestas (RAG). El estudio parte del reconocimiento de que la evaluación de las conductas docentes es fundamental para mejorar los procesos de enseñanza, así como para promover prácticas educativas más efectivas y orientadas a la mejora continua. Las conductas del profesorado influyen directamente en la dinámica del aula y, en el rendimiento y bienestar del alumnado, entre otros factores. Por ello, contar con herramientas que permitan analizarlas de forma automatizada representa un avance significativo en el ámbito educativo y tecnológico. Durante el desarrollo de este trabajo, se implementa un sistema RAG que integra conocimiento indexado sobre conductas docentes. Se realizaron tres líneas principales de experimentación: (1) evaluación de la eficacia del sistema para generar respuestas basadas en conocimiento indexado, (2) análisis de la calidad de las respuestas según diferentes formulaciones de prompts, y (3) comparación del rendimiento de varios modelos de lenguaje o LLM. Los resultados indican que el sistema es capaz de generar respuestas relevantes y coherentes, lo que valida la utilidad de este enfoque para explorar contenidos pedagógicos. En cuanto a los prompts, se evidenció que una formulación cuidadosa mejora significativamente la calidad de las respuestas. Finalmente, en la comparación entre modelos, Mistral destacó como la opción más robusta y eficiente, combinando precisión, riqueza lingüística y tiempos de ejecución razonables. En conjunto, este trabajo demuestra que la inteligencia artificial, en particular los modelos de lenguaje y los sistemas RAG, tienen un gran potencial para apoyar el análisis automatizado de prácticas docentes, siempre que se utilicen con una adecuada configuración y comprensión de sus limitaciones.